传统相机使用一种基于帧的视觉传感器,它通过预置一定的曝光时间,来逐帧获取场景信息,这种基于帧的视觉传感器有着诸多不足。而基于事件的视觉传感器是一种新型的仿生型视觉传感器,它更类似于人眼的工作机制使其广受关注。
与基于帧的传统相机的工作机制和输出方式不同,基于事件的视觉传感器的像素可以单独检测光照强度对数的变化,并在变化量超过一定阈值时输出包含位置、时间、极性的事件信息,拥有低延迟、高动态范围、低功耗的优点,其独特的输出方式和工作特性使其特别适应于有高速运动、光照条件变化较大、较小能耗的场合。
据麦姆斯咨询报道,中国科学院长春光学精密机械与物理研究所徐伟研究员课题组在《液晶与显示》期刊上发表了以“事件视觉传感器发展现状与趋势”为主题的综述文章。徐伟研究员主要从事新型高分辨率空间有效载荷总体设计等方面的研究工作。
这项研究介绍了事件相机的发展历程、分类和工作原理、优缺点,以及事件相机在快速运动的跟踪与监测、目标识别、即时定位与地图构建(SLAM)等领域近些年的应用情况。最后总结了事件相机在不同应用领域仍存在的挑战,并展望其未来的发展。事件相机的广泛应用将为目前传统相机仍很棘手的高速运动和高动态范围场合提供新的解决方案,在未来的不断更新和发展下,它将能够在更多复杂的应用场景发挥作用。
立体事件PTV框架的架构概述
目前被广泛应用的事件相机可大致分成3类:动态视觉传感器(DVS)、基于异步时间的图像传感器(ATIS)、动态主动像素视觉传感器(DAVIS)。DVS是最基本的也是最先发展的一种事件相机。ATIS像素结构分成两个部分(A和B),包含两个感光器,能够在提供事件信息的同时还能提供一定灰度信息的需求。DAVIS相机将DVS相机和传统的有源像素传感器(APS)相机结合起来,能够同时输出场景事件和灰度信息。
DVS像素电路结构
ATIS像素电路结构
DAVIS像素电路结构
传统相机存在的缺陷限制了一些特殊场合的应用,事件相机的独特性能可以为这些难题提供新的解决方案。针对事件相机的特点,可以应用于一些与之契合的视觉应用领域,比如快速运动的跟踪与监测、小数据量的目标识别、即时定位与地图构建(SLAM),均已有了较大的突破。
事件相机有着非常突出的优点:低延迟、高时间分辨力、高动态范围、低功耗。然而在不同的应用领域,又有不同的缺陷阻碍着它的发展。在诸多应用中,事件相机低带宽通信、低重量、低功率和高速的特点,使其充分满足航空航天领域对传感器的苛刻要求。如果将事件相机应用在导弹、航天飞机、超快速战斗机、海上军舰等军事目标的追踪上,由于这些目标有着显著的外观特征,而且它们的运动速度一般很快,或许可以获得比传统遥感相机更好的效果。另外,将事件相机应用于天基空间态势感知,也为监测卫星和星体提供了新的解决方案。未来,在航空航天和军事领域上,事件相机也将会有更加迅猛的发展。
该项目获得钱学森空间技术实验室创新工作站开放基金(NO.GZZKFJJ20220003)的支持。该研究第一作者为中国科学院长春光学精密机械与物理研究所硕士研究生方应红,主要从事智能成像方向的研究。
延伸阅读:
《新兴图像传感器技术、应用及市场-2021版》