具有内部计算能力的图像传感器融合了传感和计算能力，从而大幅降低了机器视觉任务的功耗和延迟。线性光电探测器，例如具有可调谐电学和光学特性的二维半导体，可实现多种功能的传感器内（in-sensor）计算。单光子水平的传感器内计算更具潜力，但尚未实现。
据麦姆斯咨询报道，近日，南京大学和清华大学的研究团队展示了一种基于超导纳米线阵列探测器的传感器内计算的高光子效率相机，该传感器具有四个可编程维度，包括光子计数率（PCR）、响应时间、脉冲振幅和光谱响应度。同时，该传感器在405 nm至1550 nm波段内实现了饱和（100%）量子效率。得益于多维调制和超高灵敏度，在每个模式每像素仅需0.12个光子的条件下，该传感器对三个字母的分类准确率达到92.22%。此外，研究人员还演示了图像预处理和光谱分类。高光子效率传感器内计算有利于在极低照明环境下执行如隐蔽成像、生物成像和空间探索等视觉任务。单光子图像传感器可以按比例放大以构建更复杂的神经网络，从而实现更复杂的高灵敏度实时视觉任务。这项研究以“Photon-efficient camera with in-sensor computing”为题发表在Nature Communications期刊上。
如图1a所示，传统的成像方法需要采集并存储所有像素数据再进行后处理，以实现各种视觉任务，但会导致严重的数据冗余。相比之下，传感器内计算的读出信号直接对应图像分类、图像预处理和光谱分类的结果，可以减轻数据读出和后处理的压力。以图像分类为例，图1b展示了基于超导纳米线单光子探测器（SNSPD）阵列的传感器内计算原理。SNSPD阵列具备包括PCR、响应时间、脉冲振幅和光谱响应度在内的多个可编程维度（如图1c）。
图1 传统成像和传感器内计算架构
该超导纳米线阵列由25个像素构成，每个像素的性能一致。随着偏置电流的增加，该超导纳米线阵列的PCR保持不变，表明量子效率达到饱和（100%）。如图2a和图2b所示，在405 nm（4-8 μA）和1550 nm（7.5-8 μA）波长处，该传感器的所有像素点都保持了饱和（100%）量子效率。
图2 本文所提出的传感器的光子探测性能
利用PCR计算实现26个字母的分类。由于数字微镜器件（DMD）的不同MEMS微镜之间存在串扰，从图3a和图3b中可以看出，部分字母的直接采集图像质量较差。低信噪比使得部分字母难以分辨，但总体分类准确率仍大于90%。当每模式中的每像素平均光子数（PPP）为10.9时，大多数字母的分类准确率在95%以上（如图3c）。
图3 图像分类实验结果
除了图像分类，研究人员还展示了可重构的传感器内图像预处理。图4a左侧为原始投影图像，右侧为传感器直接获取的图像。图像的强度取决于PCR计算。图4b至图4d给出了三种卷积核。此外，超导纳米线阵列具备内在光谱分辨能力。随着偏置电流的变化，不同波长的PCR曲线也不同。图4e展示了405 nm至1550 nm波段的5个波长的PCR曲线。光谱分类可以与图像分类相结合，以提升分类准确率。此外，光谱分辨率的引入可提供更多的图像预处理操作，例如辐射校正和高光谱遥感图像处理。
图4 可重构传感器内图像预处理和光谱分类
综上所述，这项研究展示了一种基于25像素SNSPD阵列的高光子效率传感器内计算相机。传感器的每个像素在405 nm至1550 nm波段内均具有饱和量子效率。基于S型PCR曲线，研究人员构建了两种计算架构。PCR计算仅需单通道计数器进行采集。对于特定任务，可在可重构传感器的基础上构建预编码传感器。在传感器中加载优化权重可以提高计算效率。传感器内计算可以显著减轻阵列传感器的数据读取和处理压力，但目前基于传感器本身的功能有限。未来研究人员将结合阵列传感器与片上衍射神经网络以进一步提升计算能力。
论文链接：
https://doi.org/10.1038/s41467-025-58501-2
《苹果在量子点光电传感器领域的发明专利与产业布局分析》
《量子点光电传感器专利态势分析-2024版》
《新兴图像传感器技术及市场-2024版》
《汽车红外摄像头技术及市场-2024版》
《光谱成像市场和趋势-2022版》
《小型、微型和芯片级光谱仪技术及市场-2020版》
