基于视觉的超神经传感器

受人类视觉启发并得益于生物学的一些知识，研究人员开辟了一个充满各种机会的新“世界”——超神经传感器，具体应用包括以低数据率运行的高速视频传感、神经形态音频传感、自动驾驶汽车传感，当然还有更多……

从最广泛的意义上讲，“神经形态”一词适用于任何借用生物学工程概念的计算系统。对于电子传感器发展来说，一套特别有趣的概念是神经元的尖峰属性。神经元在每次接受特定刺激时都会产生电位，但并不是立即放电，而是只有在超过阈值时才会放电。神经元也会泄漏，失去膜电位，从而会产生过滤效应：即如果没有新的事情发生，电平会随着时间的推移而下降。

“电子设备可以模仿神经元的这些行为，”Imec神经形态计算项目经理Ilja Ocket说，“这是新一代传感器的基础。”

利用这些想法来改进传感器的一个最佳示例，就是基于事件的相机，也称为视网膜形态相机。这些相机不是在电容器中积累光子，并将其作为图像传播到后端系统，而是自主处理每个像素。每个像素都可以决定光子流中是否发生了足够的变化，并以事件的形式向下游传递信息。

“当传感器生成的是基于事件的数据(而不再是传统的阵列、张量或矩阵格式的数据)时，Imec将发挥作用，”Ocket说，“Imec具有解决方案，通过调整人工智能来搜集基于事件的数据，并进行必要的处理。该方案中的尖峰神经网络并不适用于常规数据，而是从时间编码流中获取输入。”

“这些技术的一个重要好处是降低了能耗，因为彻底改变了“游戏”规则，”Ocket说，“Imec在人工智能和多个领域的应用程序开发方面做了大量工作，其中有些领域受益最大，包括智能传感器、机器人、可穿戴设备、AR/VR和汽车。”

一直在与Imec合作的Prophesee公司，其总部位于巴黎，并已有九年历史。该公司分布在法国、中国、日本和美国的120余名员工，正在从事视觉传感器设计并开发软件，旨在克服困扰传统相机的诸多挑战。

基于事件的视觉传感器

“我们的传感器与传统的图像传感器有根本不同”，Prophesee首席执行官Luca Verre表示：“它只对场景中的变化事件进行拍摄，并非按固定时间间隔进行整帧拍摄。而普通相机则是以固定的时间间隔一帧又一帧地连续捕捉图像，每秒可能多达20帧。”

Luca Verre，CEO，Prophesee公司

这种传统方法实际上与电影摄影一样古老，如果只是想显示图像或制作电影，效果会很好。但对于很多现代用例，尤其是涉及人工智能时，它就显示出如下三个主要缺点：

冗余数据处理

即使场景中绝大部分变化极小，也会捕获和传播整个帧，所以会发送大量冗余数据进行处理。

事件丢失

漏掉了帧之间的活动。由于快照是以每秒几次的固定间隔拍摄的，因此在数据采集间隔发生的任何事件活动，都无法捕捉到。

固定曝光

传统相机的曝光时间是固定的，这意味着必须依赖照明条件，故每个像素的采集都可能会受到影响。另外，如果同一场景中分别有明亮和黑暗的区域，还会导致一些像素曝光过度，而与此同时，却有另一些像素曝光不足。

“在传统方案中，无论场景有没有发生变化，传感器都不停地采集数据帧，而Imec解决方案受到了人眼功能的启发，由场景变化来驱动采集，”Verre说，“方案中各像素是独立和异步的。这不仅抑制了传感器级别的数据冗余，而且无论事件活动何时发生，都能以微秒级精度捕捉到，从而使得系统非常快速高效。”

“虽然时间上可能是断续的，但对于任何自然现象来说，这都是一个非常高的时间粒度，”Verre说道，“实际上，大多数应用都不需要如此高的时间精度。新方案不会捕捉不必要的数据，但也不会错过有用信息。也正是这两个功能，能够使神经形态相机成为数据率极低的高速相机。”

“观察场景中像素之间的独立性，本身就决定了不存在固定曝光问题，”Verre补充道，“各黑暗区域的像素与各明亮区域的像素彼此独立，故具有非常宽的动态范围。”

另外，由于传输到人工智能系统的冗余数据少，导致所需的数据处理更少，功耗也更低，从而使得在边缘实现人工智能变得容易得多，进而使推理更接近传感器。

图1：基于事件的第四代相机模块产品——IMX636。(来源：Prophesee)

超神经形态应用及音频传感器

自动驾驶汽车当然是神经形态传感器的一个重要应用市场，不过开发一款自动驾驶汽车产品是一个巨大工程，应用推广也将是漫长的过程。然而，基于事件的摄像机正在满足各类市场的应用需求。其中包括需要超高速计数、颗粒尺寸监测、用于预测性维护的振动监测等工业用例。其他应用还包括用于AR/VR的眼睛跟踪、视觉里程计和手势检测。在中国，玩具动物中的小型相机市场也正在增长。相机需要在低功率下工作，而对它们来说，最重要的是检测运动。神经形态相机满足了这一需求，只需很小的功率即可操作，而且很适合玩具。

神经形态原理还可以应用于音频传感器。与视网膜一样，耳蜗不会以固定的间隔对语谱图进行采样。它只是传达感官输入的变化。到目前为止，神经形态音频传感器的例子还不太多。不过，目前基于音频的人工智能需求量很大，故这种情况可能很快就会改变。实际上，该神经形态原理，还可以用于本身并没有生物对应物的传感器，如雷达或激光雷达。

研究人员越来越坚信，制造硅生物结构并不是最好的选项，而其最大的挑战者可能是能够充分利用生物学和电子学的超神经形态。

“如果剥离掉计算行为，就可以改善生物学，”Ocket说，“利用上世纪50/60年代非常简单的计时电路，就能实现基于时间的计算行为，而无需再用阈值来模拟尖峰神经元。如果把它们结合在一起，并找到训练方法，就可以实现比简单地利用电子形式来模拟尖峰神经元要低得多的功耗。”

(参考原文：human-vision-inspires-a-new-generation-of-cameras-and-more）

本文为《电子工程专辑》2023年12月刊杂志文章，版权所有，禁止转载。点击申请免费杂志订阅