据麦姆斯咨询报道，近期，卡拉布里亚大学（University of Calabria）和比萨大学（University of Pisa）面向低分辨率图像分类，联合开发了一种基于两层人工神经网络（artificial neural network，ANN）的全集成模拟CMOS认知图像传感器。研究人员主要设计了执行认知感测任务（从图像感测到输出分类决策）所需的所有模拟子电路。作为一个案例研究，使用低分辨率版本的手写数字MNIST数据集测试分类性能。该电路的分类精度为87.8%，平均每次推理能耗为6nJ，延迟为22.5μs，吞吐量每秒高达13.33万次推理。
物联网（IoT）的终端设备或边缘设备，以及嵌入式智能视觉传感器系统，是网络物理系统的关键组成部分，其中延迟、可扩展性和隐私是重要的挑战。在传统的机器视觉系统中，信息由图像传感器捕获，进而转换为数字格式，然后存储在本地存储器中或传输到外部计算单元以执行所需的处理任务。由于其主要目标是减少如模拟-数字转换和数据传输等低效率操作的影响，因此，具有嵌入式分类功能的认知图像传感器的概念将成为未来应用（如可穿戴和移动医疗电子设备、电池供电系统）的一个极具吸引力的解决方案。
智能视觉传感器通过实施ANN为图像传感器提供认知能力，ANN是执行类似人类任务的强大建模方法，例如对象分类和检测。ANN中的基本计算是乘积累加（multiply-accumulate，MAC）运算，即向量-矩阵乘法的基本运算，其中输入数据向量乘以固定权重的矩阵。为了降低每次推理的功耗，进而使电池供电系统能够配备ANN，目前许多研究工作都致力于模拟ANN集成电路的设计，这种集成电路利用CMOS器件和电路的基本特性，使得MAC运算和内存计算具有高度并行性。
基于此，研究人员提出了一种模拟CMOS图像传感器分类器的设计，该分类器基于在低分辨率环境下运行的两层ANN，如下图所示。与以往研究工作（通常只有部分片上设计）的主要区别在于，这是首次全模拟设计，包括执行从图像感测到图像分类的整个处理任务所需的所有构建块。
低分辨率全模拟CMOS图像传感器分类器的概念
研究人员所开发的系统使用单层多晶硅180nm商用CMOS工艺设计，该工艺具有附加工艺选项，包括用于构建光电二极管的特定模块和现代CMOS图像传感器的补充构建块。所有其他构建块，如像素阵列、采样保持（sample and hold，S&H）阵列、电压-时间转换器和激活函数都是在模拟域中精心设计的。此外，权重是可编程的，因此开发的分类器本质上是可重新配置的，并且可以训练其基于低分辨率图像执行一系列分类任务。
5x5像素CMOS图像传感器架构及其传感方案
作为案例研究，使用低分辨率的手写数字MNIST数据集验证了该分类器的推理能力。在室温（27℃）下，其推理精度为87.8%，这与在数字域中以浮点数据精度运行的相同ANN架构的软件实现的结果相当。在较宽的温度范围内（-10℃-70℃），精度保持在80%以上。研究人员所设计的分类器每次推理只消耗6nJ（其中大约一半的能量由像素感测矩阵消耗），同时具有每秒13.3万次的吞吐量（延迟时间为22.5μs）。对于10μm的像素间距，其占位面积也非常小，仅为4000μm²。
500张图像作为基准的软件神经网络（a）和硬件神经网络（b）混淆矩阵
简而言之，研究人员提出了一种全模拟认知CMOS图像传感器的设计，包括模拟域人工神经网络的硬件配置，并作为与5×5图像传感器集成的低分辨率图像分类器工作。所开发的CMOS认知图像传感器在商用180nm CMOS工艺中进行了完全设计和模拟，获得了87.8%的精度，与浮点软件实现的精度（90.6%）相当。
论文信息：
https://ieeexplore.ieee.org/document/9874841
延伸阅读：
《光谱成像市场和趋势-2022版》
《新兴图像传感器技术、应用及市场-2021版》
《小型、微型和芯片级光谱仪技术及市场-2020版》
