这两颗传感器，可能代表了机器视觉的未来趋势

这两年来，我们一直在关注基于事件的视觉传感器（event-based vision sensor）。基于事件的视觉传感器并不是这两年才有的新技术。之所以在这两年做持续关注，如前不久我们撰文谈到的：此类传感器的发展时机业已成熟，可能很快要面临爆发期。

最近Prophesee和索尼共同发布消息，索尼正式推出2款堆栈式（stacked）基于事件的视觉传感器产品IMX636与IMX637，专为工业设备准备；这两款传感器单像素尺寸达到了4.86μm的程度——是为业界最小。

这两款传感器结合了索尼CMOS图像传感器技术与Prophesee基于事件的视觉感知技术。其实去年2月份的ISSCC（国际固态电路会议）上，这种达到4.86μm单像素尺寸的基于事件的视觉传感器就已经亮过相——EE Times美国和中国版此前也都相继作了报道。

这次我们再次借机采访了Prophesee CEO Luca Verre，他也从一些更细节的层面聊到了本次发布的新品。从中，我们也能更进一步地去理解基于事件的视觉传感器的特点。

有关这两颗视觉传感器

有关什么是基于事件的视觉传感器，本文不再多做赘述了，此前我们已经多有解释；具体可点击这里查看。它与传统基于帧的图像传感器不同。仅在场景发生变化时，基于事件的视觉传感器之上的像素才做出反应，场景中的静态部分不会被捕捉。而且这种传感器通过连续的信息流捕获事件信息，不会有重要信息的遗漏，可达成等效10000fps的记录能力。这样的技术特点造成其产生数据量少、反应速度快、高动态范围的特点。

这次合作新推的IMX636/IMX637传感器，在制造工艺上采用索尼Cu-Cu互联3D堆叠技术。针对索尼的堆栈式工艺技术，此前我们曾特别撰文探讨过。BSI背照式技术，与3D堆叠工艺，都是让单像素尺寸变小的关键。这类技术不光是Prophesee这一代基于事件的视觉传感器达成4.86μm单像素尺寸的关键，也是当前手机一亿、两亿像素CIS得以普及的关键。

在像素变小的问题上，Luca特别谈到：“我们和索尼一起，通过BSI 3D堆栈工艺，让像素尺寸变得更小。工艺技术其实还在进步：这种进步是2个方面的。首先是CMOS工艺节点。有了索尼，我们就能采用40nm CMOS工艺；像28nm、22nm当然还能进一步减小像素的逻辑电路部分，令其更小。”

来源：Yusuke OIKE, “Evolving Image Sensor Architecture through Stacking Devices”, IEICE Fundamentals Review Vol.15, No.1, https://doi.org/10.1587/essfr.15.1_5

“其次就是在堆叠上，现在的趋势是从2层往3层发展：比如一层CIS+两层逻辑电路层，那么像素的大小还会降低。所以我们相信，技术会帮助我们更进一步地缩减像素尺寸。”Luca说。有关图像/视觉传感器往3层堆叠的方向发展，恰好此前索尼的路线图也的确是这么提的，我们也做了对应的报道。

其实有关基于事件的视觉传感器，相较传统基于帧的视觉传感器，在像素尺寸上仍然更大这个问题（比如三星、Omnivision的CIS单像素尺寸下探到了0.7μm），我们也问了Luca。Luca回答这两者无法直接比较，就像卷帘门快门（rolling shutter）和全局快门（global shutter）的图像传感器相比，后者的像素也无法做到0.7μm的程度一样。“还有像是ToF图像传感器像素尺寸也如此。”Luca说。

“我们的像素复杂性主要在于level crossing sampling电路——嵌入在每个像素之中。这个电路需要一定数量的晶体管。这是基于事件的视觉传感器的像素需要更多硅面积的原因。”Luca解释道。将来有机会，我们可以在level crossing sampling电路方面做更深入的探讨，这也将有利于我们进一步理解基于事件的视觉传感器。

总的来说，基于4.86μm这样小的像素尺寸，IMX636/IMX637得以实现基于事件的视觉传感器产品中较高的分辨率。具体的产品规格如上图所示。这两款产品在尺寸和分辨率方面有差别，分别是HD 720p与VGA分辨率。Luca告诉我们，新产品与此前第三代产品的主要差异就在于制造工艺上；此前Prophesee的第三代基于事件的视觉传感器产品单像素尺寸为15μm。

这一点我们在此前的文章里也多有提及，上面这张图所呈现的正是BSI+3D堆叠工艺提升像素感光区域利用率的示意。单纯从这张图来看，是每个像素所谓的相对变化检测器（relative change detector）电路从原本与感光区域处在同一平面，移到了下方。

Luca说去年2月份，ISSCC会议上Prophesee就宣布了与索尼合作的研究工作；这次则是真正对传感器做大规模量产，实现了其全面的应用。“这次我们和索尼一起，让传感器达到工业应用级别，通过所有的有效性、可靠性测试，满足质量标准，并准备大规模地部署到市场上。”

“Prophesee和索尼合作，将IMX636/IMX637带到市场上。索尼提供传感器和参考设计，Prophesee则提供Metavision软件解决方案和服务。”Luca介绍说，已经有不少客户在对这两款传感器做评估和概念验证。“目前我们已经和客户进行过上百次的PoC评估。”在构建生态合作方面，Luca也特别提到正与索尼中国积极合作，发展这两款新产品在中国的业务；与此同时也会与更多中国本地合作伙伴进行战略合作。

应用前瞻与生态建设

有关Prophesee基于事件的视觉传感器的应用方向，此前我们也撰文探讨过——汽车智能座舱、ADAS、生物医疗、消费电子等等，都有其用武之地。索尼在发布的新闻稿中提到，随着工业设备更为复杂和多样化的需求，由摄像头来捕获图像数据——或者说机器视觉，其实是变得越来越重要的。而更为高效的数据获取就是其中的关键。

基于事件的视觉捕获方式，是像素异步检测亮度变化，加上像素位置与时间信息输出数据。如前文提到的像素只检测场景中的变化，传感器能够以高速、低时延以及高时间分辨率来检测场景中的变化。

索尼提到比较典型的应用场景如工业设备的预测性维护，感知设备使用中的震动细微变化，及早检测出使用异常。还有在金属切割、焊接的时候，这样的传感器能够感知火花的变化，以便工人可以了解更换工具的最优时机等等——这一点应该是基于事件的视觉传感器高动态范围的特点。

总之在大方向上，针对许多工业应用场景提高生产效率是有价值的——在某些场景下基于帧的图像传感器无能为力，某些则只能依赖人们过往的经验，基于事件的视觉传感器就能派上用场了。

这些只是部分场景列举。索尼和Prophesee都提到本次合作的重要组成部分在于Prophesee的Metavision智能套件，这是个事件信号处理软件。这款软件是为开发者准备的，针对很多应用场景提供了解决方案。

Luca说：“生态建设是目前我们需要投入的、很重要的一部分。因为我们的技术是打破现有游戏规则的新技术，要构建起生态系统，我们采用开源架构。所以Metavision软件部分，我们提供了免费、开放的访问——我们称之为Metavision Essentials。”

“我们开发了评估开发套件，让摄像头制造商能够快速地打造完整的系统。而且我们在技术上也提供培训内容。我们的网站上也提供了很多技术方面的内容，知识中心有丰富的信息。”Luca表示，“比如大型数据集，行业内用于机器学习最大规模的标记（labeled）事件数据集。而且我们也提供视觉传感器的模拟工具等等。这些都是为了降低开发难度；也是开辟新技术领域、构建生态过程中，我们做的事情。”

基于事件的视觉传感器的未来探讨

这两年，基于事件的视觉传感器正迈向成熟，而且有更多落地的应用会逐步出现。Luca也和我们畅想了这类传感器的未来市场，及发生爆发式增长的契机将是什么。

“在工业和医疗之后，我们看到基于事件的技术发展会在一些IoT、机器人应用领域。比如说商业大楼、零售业中用来做智能访问控制，或者智能存在检测；还有应用于工业和消费市场的机器人——用来做避障、定位。”Luca谈到，“另外，我相信这项技术在移动（mobile）领域会成为主流和新的技术标准。”

“代表性的就是智能手机。智能手机应该说是图像传感器最大的市场机遇了。我认为这对基于事件的技术而言，也是巨大的市场机遇。我们的技术整合到手机上，能够加强拍照的画质，对于拍照和视频而言也会带来更多新的特性。”“长期来看，汽车也会是这项技术的关键应用场景。”

此前我们提到过，手机上传统摄像头基于帧的图像传感器，在拍摄高速运动对象时受制于曝光时长会让画面出现运动模糊；而基于事件的视觉传感器由于其自身特性，捕获动态画面是无压力的。两者结合时，理论上能够改善运动模糊。“在基于帧的图像传感器曝光期间，我们就能获得画面变化的信息——用事件来修正动态模糊，达成更为清晰、锐利的影像。这是比较重要的一个应用。”

我们认为，不同传感器在手机设备上的竞争压力都不小。实现动态模糊修正的方法有不少，比如当代HDR就在结合AI做低光照环境下画面动态对象的修正。基于事件的视觉传感器要在手机上闯出一片天，还是要看具体效果及成本优势是否足够到位。

另外，我们也和Luca探讨了基于事件的视觉传感器应用于手机时做always-on存在检测（如手势、面部识别的always-on存在检测）的可行性。Luca认为手机上已经有同类传感器技术在实现部分特性，比如ToF摄像头。不过“将帧与事件做结合的计算成像，在眼球追踪（eye tracking）、目光锁定（eye lock）、注意力监测（attention monitoring）等应用上也会有价值，主要是手机前置的感知系统上，可用于提升人机交互的体验。尤其是在AR类特性应用上。”Luca说，“还有我想SLAM（即时定位与地图构建）也会有发展潜力。”

最后值得一提的是，前不久SynSense宣布与Prophesee达成战略合作。SynSense是做SNN处理器的一家企业。基于事件的视觉传感器与此类后端处理器做结合，可说是更加完美的搭配。

目前Prophesee基于事件的视觉传感器，在绝大部分情况下还是需要和传统冯诺依曼计算架构做搭配的。这种搭配方法其实并不能完整地利用基于事件技术优势。而神经拟态（neuromorphic）硬件提供大规模并行计算基础——天然的就是基于事件的特性，搭配神经拟态的基于事件的传感器（所以又叫silicon retina）就再合适不过了。

Luca也说SynSense的技术与Prophesee是互补的，“因为纯粹的神经拟态解决方案，当然应该去利用纯粹的神经拟态技术，尤其在低延迟和低功耗方面。而且基于事件的摄像头最终的趋势，都应该和这种类脑芯片做结合——这样才能真正的优化速度和功耗。和传统的计算平台做结合，其实我们的传感器还是要牺牲掉一部分性能。”

“我相信未来，基于事件的视觉传感器和类脑芯片会在某种程度上做融合，成为一个完整的芯片解决方案。我们和SynSense的合作是非常自然而言的。”

我们或许很难下评判说Prophesee和SynSense的合作具有划时代的意义，但这种范式可能是时代正在发生变化的具体写照。这方面的合作的确相当值得我们做进一步的关注。

责编：Luffy Liu