神经拟态视觉传感器“瞩目”自主未来

神经拟态视觉(Neuromorphic vision)传感器是一种基于仿生学原理的摄像头，它可以捕捉到一个场景中的关键信息，降低数据冗余和延迟。这种基于事件驱动的传感器使自主化更接近现实，已经在高速视觉应用中找到用武之地，如工业自动化、消费电子和自动驾驶汽车等领域。

“为什么说基于事件驱动的视觉传感器是神经拟态的呢？”Yole Développement（位于法国里昂）首席分析师Pierre Cambou表示。“由于每个像素都是一个神经元，因而将AI引入像素处理是有道理的。”

沉寂多年的神经拟态视觉传感器行业在最近几个月开始卷土重来。去年11月，三星为其面向移动设备和平板应用的动态视觉传感器（DVS）技术提交了商标申请。 Cambou认为：“这有点出乎意料，因为三星开发DVS技术主要是针对汽车高级驾驶辅助系统的。”

去年12月，索尼不动声色地收购了总部位于苏黎世的Insightness公司，该公司的视觉传感器可以在毫秒级别内进行运动检测，即使传感器本身在移动的场景下也可以检测。今年2月，位于巴黎的Prophesee公司在筹集了额外的2800万美元后，在国际固态电路会议（ISSCC）上宣布与索尼公司共同开发新型一种传感器，即基于事件驱动的堆叠式视觉传感器。

神经拟态感应源起于“硅视网膜”的发展，它模仿人类视网膜，最初由苏黎世联邦理工学院（ETH Zurich）和神经信息学研究所的Misha Mahowald于1991年提出。Mahowald解释说，“这种硅视网膜从图像中减去平均强度水平并仅报告时空变化，从而可以节省带宽。”这一灵感启发了动态视觉传感器（DVS）的概念，并驱使近年来无数的初创公司参与其中。瑞士的iniVation公司就是其中的一员。

iniVation的DAVIS346 DVS

位于苏黎世的iniVation公司由事件驱动视觉领域的先行者于2015年创立，现已开发出一个动态视觉平台，集成了高性能机器视觉系统的硬件与软件。其神经拟态DVS芯片（型号为DAVIS346）模仿人类视网膜的特征，只有当局部像素级别的变化发生时才有数据传输，从而实现微秒级时间精度的事件流，这相当于传统的视觉传感器，但数据量却少得多。该公司声称，由于采用了本地处理的理念，该芯片大大降低了功耗（最高降低90%）、数据存储和算力要求，同时还提高了传感器的动态范围（超过120 dB）。

iniVation已经建立了一个有300多家客户的网络，与宾夕法尼亚大学、苏黎世大学和美国国防高级研究计划局的研究人员在IBM TrueNorth类脑芯片上展开了合作。这项研究致力于实现无人机自主飞行。而欧盟的一项计划则着重于可持续发展的智慧城市项目。

构想智能工厂

与此同时，工厂里也正在进行一场无声的革命。自主与自动化携手并进，而机器视觉正是制造业自动化不断发展背后的支撑力量。与简单的传感器不同，机器视觉传感器会生成大量数据，以识别有缺陷的系统、了解其缺陷并进行快速干预。其结果是成本节省和生产率提升。

iniVation声称，其动态视觉平台非常适合工业视觉，它可进行高速3D基础架构扫描，用于预测性维护、高速生产检查、颗粒检测，以及荧光成像和人体运动分析的显微镜。换句话说，它可以高速、高精度和高一致性地执行平常或复杂的重复性任务。

iniVation的CEO Kynan Eng在接受采访时表示：“我们花了不少时间才制定出一个合适的策略。”当其它公司都致力于高速计数时，Eng却认为“高速计数对象并不是很难”，因为传统相机可以达到每秒“捕捉一千帧甚至更多”。如果一个应用不需要立即响应，那“使用我们的传感器将毫无意义。”

至关重要的是延迟，而不是数据吞吐量，“我们的传感器具有快速的响应时间”。例如，“如果您有一个机器人需要不断移动地完成某项任务，那它就必须实时调整其路线。调整得越快，就可以移动得越快，并越快检测到自己的错误。”

 “我认为工业视觉是风险相对较低、但市场规模较小的市场，”Eng说道。因此，风投机构对此兴趣不高。但iniVation看到了有机增长的潜力，并从规模经济的角度来思考。通过2019年与三星建立的合作伙伴关系，iniVation已经从制造和销售芯片转向为机器视觉行业提供摄像头。 Yole分析师Cambou指出，“你可以卖100美元的芯片，也可以将芯片封装在摄像头中，卖1,000美元的摄像头。”

通过往系统方向发展，iniVation正在提升其价值链的地位。

“我们意识到，做一家芯片公司对我们没有任何意义，”Eng说。“我们可以筹集到十亿美元的资金，但仍然不够自己开发芯片的开支。有人想知道，为什么我们的摄像头很贵，怎么才能让它更便宜？”通过与三星的合作，我们“解决了这个问题。”

不断提高的质量要求，加速了食品、包装、消费电子、航空航天和汽车行业中的机器视觉发展。Eng说，iniVation’s的目标是进入更大规模的市场。

展望移动市场未来

基于事件驱动的摄像头仅传输强度的变化。它不会受到动态模糊的影响，其延迟也是微秒级别的。再加上极高的动态范围和超低功耗，这种摄像头非常适用于虚拟现实和增强现实应用。“这是一个潜在的巨大市场，但我们尚不清楚它何时会真正成为巨大的市场需求，”Eng说。“现在，它还是一个利基市场。”

iniVation的CEO Kynan Eng

基于事件驱动的摄像头还可以应用于移动设备中。Eng说：“诀窍就在于说服手机制造商在手机背面再放置一个传感器。”最初，iniVation与其它厂商生产的摄像头仅使用DVS像素。“这个功能非常适于处理高速动态变化，但多数情况下，人们只是想自拍或拍摄美食。” Eng补充说：“过去这几年我们所做的就是开发一种能够同时处理DVS像素和普通像素的传感器。你可以拍摄普通照片，进行正常处理，而对于特定场景，可以使用我们的动态像素。”

因此，手机制造商不必取舍，购买价格也没有区别。

Cambou认为：“这个移动市场的机遇将在2021或2022年来临。现在，一部华为手机的背面安装了5个摄像头。”他继续说道，“未来，除了始终显示（Always On）的神经拟态摄像头外，我看不到其它值得考虑的东西。也有人在谈论多光谱，但我更倾向于Always On感知。”基于事件驱动的摄像头可以实现非接触式交互，如锁定和解锁手机。

就如Prophesee与索尼合作一样，与三星的合作也使iniVation在智能手机市场占有一席之地。Cambou认为，跟以前一样，这只是何时实现的问题。“Always On是个很好的想法，它已经存在了多年，但现在的问题是如何实现它。这取决于你所服务的应用以及在客户体验方面可以提供哪些改进。”

让汽车能看见

基于事件驱动的摄像头具有高能效，因为像素活动微不足道，“静止的”像素几乎不消耗能量。在自动驾驶汽车从内燃机过渡到电动发动机的阶段，这是一个卖点。对汽车公司来说，“功耗比我最初想象的要重要得多，”Eng说。“在他们目前的电动汽车计划中，如果汽车以恒定速度消耗4kW总功率预算，那其中一半是用于驱动汽车，而另一半是用于计算处理。在算力上节省的每一瓦电能，都可用于增加汽车的续航里程，或减少电池容量。”

iniVation公司的Division Sensor平台可在恶劣的照明条件下实现车辆里程测量、高速同步定位和地图绘制（SLAM），以及自动驾驶辅助功能。“随着处理技术的不断发展，自动驾驶汽车会前途一片光明，”Eng说。“我们将开发一种混合传感器，同时支持帧视频和事件感应，这样汽车公司可以继续使用他们花费数十亿美元开发的东西。”

Yole分析师Pierre Cambou

传感器是发展自动驾驶汽车的关键。它同时产生大量数据，而系统则“受到处理能力的严重制约”，Cambou说。增加更多的摄像头会带来更多的数据，这意味着“算力需求激增”。提高数据质量是其中一种解决方案。Cambou认为：“如果真的想解决自主问题，将需要迅速增加多样性。可以使用激光雷达、热像仪和高光谱相机。我认为汽车公司还应当考虑基于事件驱动的摄像头。”

神经拟态工程的潜力尚未开发出来。根据Yole的分析，到2029年，神经拟态半导体、传感和计算市场将达到71亿美元。如果所有技术问题都在接下来的4-5年内解决，神经拟态计算市场在2024年有望达到6900万美元，到2029年将增长至50亿美元，而到2034年将增长到213亿美元。神经拟态传感市场在2024年为3400万美元，到2029年将增长至20亿美元，到2034年将达到47亿美元。

（参考原文：Neuromorphic Vision Sensors Eye the Future of Autonomy）

责编：Amy Guan

本文为《电子工程专辑》2020年6月刊杂志文章，版权所有，禁止转载。点击申请免费杂志订阅