最小、最节能的基于事件的视觉传感器

原创 EETOP 2023-10-24 12:07

【有奖直播】深入学习Microchip时钟和全新单片机方案 精密双向电流感应放大器设计方案

虽然 TinyML 可以为许多物联网设备带来强大的人工智能模型，但现场视觉系统在人工智能/机器学习集成方面遇到了瓶颈。这些系统必须处理大量数据，同时保持低功耗运行。

而基于事件的传感器模仿眼睛和大脑处理图像的方式，可以克服传统的基于帧的机器视觉的障碍。

什么是基于事件的视觉传感？

与以固定间隔捕获一系列帧的传统相机不同，基于事件的传感器仅响应场景的变化。传感器中的每个像素独立运行，仅在检测到亮度发生显着变化时才触发输出。

基于事件的传感器模仿人眼的生物功能。图片由索尼提供

该技术的一个主要优点是它显著减少了数据冗余。在静态或缓慢变化的环境中，传统相机捕获和传输大量冗余数据，浪费计算资源和能量。另一方面，基于事件的传感器仅传输变化，从而减少计算、内存和通信要求。这可以降低能耗，使这些传感器适合电池供电和边缘人工智能应用。

除此之外，基于事件的传感器在动态范围和对不同照明条件的适应性方面表现出色。每个像素都会根据入射光进行调整，使传感器能够在高对比度场景中有效运行，例如涉及夜间汽车前灯的场景。此功能对于自动驾驶等应用尤其重要，其中快速适应不断变化的照明条件对于安全至关重要。

接下来让我看一个基于事件的视觉传感器实列。

最近，法国神经拟态视觉系统开发商 Prophesee 发布的其最新的基于事件的视觉传感器。

该公司声称，该设备在性能和功效方面树立了计算机视觉的新标准，特别是与基于帧的成像相比。让我们看一下 Prophesee 新型传感器的技术细节，并评估基于事件的视觉传感的价值所在。

GenX320 传感器

GenX320 简介

最近推出的Prophesee GenX320 Metavision 传感器标志着 Prophesee基于事件的视觉硬件向前迈出了一步。该传感器设计用于集成到超低功耗边缘人工智能视觉设备中，例如 AR/VR 耳机、安全和监控系统以及始终在线的智能物联网设备。

GenX320提供超低功耗（典型值为 3 mW）、低延迟和高灵活性，这些都是在各种应用中高效集成的基本功能。该传感器的工作分辨率为 320 x 320，采用 6.3 μm 像素 BSI 堆叠基于事件的视觉技术。Prophesee 表示，这款紧凑型传感器采用 3 x 4 mm 芯片尺寸，满足嵌入式边缘视觉系统独特的能源、计算和尺寸要求。