瑞士新创公司SynSense和法国厂商Prophesee正在合作开发一款事件导向图像传感器单芯片，结合Prophesee的Metavision 图像传感器和Synsense的DYNAP-CNN 神经形态处理器。
总部位于瑞士的新创公司SynSense和法国厂商Prophesee正在合作开发一款事件导向(event-based)图像传感器单芯片，结合Prophesee的Metavision 图像传感器和Synsense的DYNAP-CNN 神经形态处理器。两家公司将会在该款传感器-处理器单芯片的设计、开发、制造和商品化等各方面进行，目标是实现小体积、平价的超低功耗处理器。
“我们不是传感器公司，我们是处理器公司；”SynSense全球业务暨算法/应用开发资深总监Dylan Muir接受《EE Times》访问时表示：“因为我们正在关注低功耗的传感器处理操作，发现我们的硬件若能距离传感器越近会越好；所以能与事件导向视觉传感器厂商合作，对我们来说很有意义。”
SynSense过去曾结合该公司的棘波神经网络(spiking neural network) IP以及来自另一家公司Inivation的动态视觉传感器，实现名为Speck的相机模块。
(图片来源：SynSense)
SynSense也和另一家事件导向图像传感器厂商Inivation合作，后者已经开发出一款名为Speck的128×128分辨率事件导向相机模块。Muri指出：“我们与Prophesee合作是为了朝更高分辨率像素数组方向发展。”
他指出，Prophesee先前曾与Sony合作，并在实现低光源敏感性方面具备优势；“以长期来看，我们希望能在设备中以尺寸非常小巧的模块进行高分辨率的视觉处理，这比把所有的东西都放大还来得复杂。”
较高分辨率的传感器数组会占据更多电路板空间，也需要更多的处理操作，所以处理器核心必然也要更大。Muir表示，高质量图像传感器对芯片的需求，与市场对数字逻辑芯片的小型化需求不一致，因此堆栈式架构或是背对背键合的多芯片解决方案，看来是最有可能的解决方式。
较高分辨率的传感器也会需要算法开发。Muir指出，目前较小的像素矩阵是透过单一卷积神经网络(CNN)来处理，较高分辨率意味着需要庞大的CNN；此外，一个图像可以被分割成一块块，由多个CNN平行处理，或者是只检视图像的某一个范围。
事件导向视觉传感器
像是Prophesee的事件导向图像传感器，其重点不在于图像而是帧(video frames)的变化；该技术是以人眼如何记录和解释视觉馈入为基础，能大幅减少数据产出量，这对于低光源情境来说更具效益，比起其他图像传感器，能够用更低的功耗来运作。
Prophesee的事件导向Metavision传感器，在每个像素中具备嵌入式的智能功能，能够让每个像素单独启动，进而触发一个事件。
SynSense提供低维度信号(音频、生物信号、振动监测)处理的混合信号处理器，耗电量低于500μW；不过该公司并未打算将该技术立即商业化，现有芯片上资源也不足以执行一个CNN，而这是视觉处理的必备条件。为此，SynSense开发了第二种为卷积神经网络量身打造的数字架构，该IP会整合到Prophesee传感器中。
转向一个完全异步数字架构，也意味着该设计需要转移至更高端制程，同时消耗更少功率。该处理器IP包括可支持CNN事件导向视觉的棘波(spiking)卷积核心，SynSense为棘波神经网络采用以倒传递(Back-propagation)为基础的训练。
Muir指出，这种方法能让时间信号(temporal signals)的处理速度，超越被转换于事件领域中执行的标准CNN。倒传递是透过在训练过程中近似棘波的导数(derivative)来实现的，而推论则是纯粹以棘波为基础。
SynSense的棘波神经元利用8位的突触权重(synaptic weights)整数逻辑、一个16位的神经元状态、一个16位的阈值(threshold)，以及单一位的输入和输出棘波。神经元是最简单的”IF”(integrate and fire)模型──相较于更复杂的LIF (leaky integrate and fire)模型，该简单版模型在没有输入的时候，内部状态不会衰减，减少了运算的需求。
此外SynSense的神经元将8位数值与16位数值相加，然后将之与16位阈值相比较。Muir表示：”一开始让我们颇感惊讶的是，我们能够把神经元设计缩减到这么简单的程度，还能够让它表现非常好。”
SynSense的数字二进制异步神经元，是利用简单的”IF”(integrate and fire)设计。
(图片来源：SynSense)
SynSense的数字芯片是为CNN处理打造，且每个CNN层是由不同的处理器核心来处理的。核心的运作是异步且各自独立的，整个处理流程(pipeline)是事件导向。在系统监视互动意图的展示中(无论使用者是否看着这个设备)，SynSense以小于100ms延迟来堆栈被处理的输入，而传感器和处理器消耗的动态功率低于5mW 。
SynSense的处理器核心已经历经几代的演进，而Speck传感器已经准备好支持实时图像处理应用程序的商业化，可提供像是智能手机与智能家庭设备使用；128×120分辨率的摄像机对短距离或室内应用来说相当足够的(诸如保全监控等户外应用会需要更高分辨率)。
SynSense成立于2017年，是从瑞士苏黎世(University of Zurich)独立出来的企业，目前有65名员工，分散于苏黎世的研发办公室、在中国成都的系统和产品工程基地，以及上海的IC设计团队。该公司最近结束了Pre-B 轮募资，投资者包括Westport Capital、张江集团、CET Hik、CMSK、Techtronics、Ventech China、CTC Capital与Yachang Investments 等(不过SynSense婉拒透露募资金额)。
目前已有事件导向视觉处理器的硬件开发工具组上市，可实现手势辨识、人员侦测(presence detection)与意图互动(intent to interaction)等智能家庭设备上的应用功能。而视觉处理器样本、音频与IMU开发工具组、Speck相机模块的开发工具组，则将于2022年底开始提供。
本文同步刊登于《电子工程专辑》杂志2022年1月刊
(参考原文：Neuromorphic Developers Partner to Integrate Sensor, Processor，By Sally Ward-Foxton)
您可能感兴趣
