具有高时空分辨率的宽带高光谱图像传感器，大大提高光能利用率

高光谱成像能够捕捉物理世界的空间、时间和光谱信息，表征每个位置的内在光学特性。与多光谱成像技术相比，高光谱成像技术可获取大量波长通道（从几十个到几百个不等），与光谱分析技术相比，高光谱成像技术的空间测绘能力更强。这种高维信息可以精确区分具有相似颜色的不同材料，与人类视觉相比，具有更高的光谱分辨率和更宽的光谱范围，可进行更智能的检测。凭借这些优势，高光谱成像技术已广泛应用于遥感、机器视觉、农业分析、医疗诊断和科学监测等多个领域。

实现高光谱成像，最重要的挑战是高效获取密集的空间光谱数据立方体。现有的高光谱成像系统大多使用单个光学元件（如棱镜、光栅或光谱滤波器）和机械部件来扫描空间或光谱维度的高光谱立方体。然而，这些系统通常存在体积大、重量重、成本高以及操作耗时等缺点，限制了它们的广泛应用。

随着压缩感知理论和计算成像技术的发展，各种计算型快照式高光谱成像技术（如计算断层成像系统和编码孔径快照光谱成像等）被开发出来，它们将多维高光谱信息编码为单次测量数据，并利用压缩感知或深度学习算法对数据立方体进行解码。虽然这些系统有效地提高了时间分辨率，但它们仍然需要单独的光学元件进行明确的光调制，这对轻量级集成来说是一个沉重的负担。

为了实现集成高光谱成像，已有研究进行了大量的片上采集试验。最合理的方法是通过引入更多窄带滤光片来扩展红、绿、蓝（RGB）彩色相机的经典拜耳模式，进而开发商用多光谱成像传感器。然而，除了需要在空间分辨率和光谱分辨率之间进行大量权衡外，这种技术还由于窄带滤光而浪费了很多的光通量。

此外，得益于精细可调的光谱滤波能力，基于微纳制造技术的超构表面、光子晶体板阵列、法布里-佩罗（F-P）腔滤光片也被用于特定光谱范围内的光谱调制。从实验上看，这些现有原型大多覆盖可见光范围内约200 nm的区域，只有约20个通道。近来，利用散射介质的空间复用和点扩散函数特性，已有研究将其用于紧凑的无透镜高光谱成像系统。尽管采用了这些片上技术，但它们大多存在光谱范围窄、光能利用率低以及空间和光谱分辨率之间需要权衡等问题。

据麦姆斯咨询报道，北京理工大学张军院士团队近期在Nature期刊上发表了一篇题为“A broadband hyperspectral image sensor with high spatio-temporal resolution”的论文。该论文报道了一种片上计算高光谱图像传感器（被称为HyperspecI传感器）及其硬件制造、光学校准和计算重建的综合框架。首先，为了有效获取空间和光谱信息，研究人员利用光刻技术开发了一种宽带多光谱滤波阵列（BMSFA）制造技术。BMSFA由位于不同空间位置的不同宽带光谱调制材料组成。与传统的窄带滤光片相比，BMSFA可以在整个宽光谱范围内调制入射光，从而大大提高了光能利用率，有利于弱光和远距离成像应用。调制后的信息被压缩，并由底层宽带单色传感器芯片捕获，从而实现具有全时间分辨率的空间光谱压缩。然后，为了从BMSFA压缩测量结果中高效还原高光谱数据立方体，研究人员推导出一种轻量级高性能神经网络——光谱重建网络（SRNet），它具有更强的特征提取和先验建模能力。因此，可以从每一帧图像中重建具有高空间和光谱分辨率的高光谱图像（HSI），实现高通量实时高光谱成像。

HyperspecI传感器原理

HyperspecI传感器由两个主要组件组成：宽带多光谱滤波阵列（BMSFA）和宽带单色图像传感器芯片。BMSFA在光谱域对目标场景的高维高光谱信息进行编码，底层图像传感器芯片则捕获耦合的二维测量值。然后利用混合神经网络SRNet，从每一帧图像中高保真、高效地重建多通道高光谱图像。

HyperspecI传感器结构和原理

研究人员开发了一种光刻技术来制造BMSFA。首先，基于具有不同光谱响应的有机材料制备了宽带材料。然后，通过将宽带材料与负光刻胶耦合，制备出适合光刻技术的宽带光谱调制材料。这些材料根据最佳宽带光谱调制特性选择。再利用改进的光刻工艺，按照预先设计的光掩模将光谱调制材料固化在高透光率石英衬底上，形成BMSFA。为了满足不同光谱范围的需求，研究人员设计并制备了具有不同材料体系和空间排列的BMSFA。然后将制备的BMSFA分别与CMOS和InGaAs图像传感器芯片集成。

BMSFA制造

HyperspecI传感器的高光谱成像示例表明，它能够获取丰富的空间细节，并在宽光谱范围内保持较高的光谱精度。此外，为了证明HyperspecI传感器在高光谱图像重建方面的高精度和高效率，研究人员将所提出的SRNet模型与现有最先进的基于模型和深度学习的算法进行了比较，结果表明所提出SRNet模型在精度和效率方面都优于其它算法。

HyperspecI传感器高光谱成像示例

研究人员根据所提出的框架制作了两个可见光-近红外（VIS-NIR）高光谱图像传感器（HyperspecI-V1和HyperspecI-V2）。HyperspecI-V1和HyperspecI-V2的光谱响应范围分别为400-1000 nm和400-1700 nm，平均光能利用率分别为71.8%和74.8%。在弱光条件下，HyperspecI传感器的性能大大优于马赛克型多光谱相机和扫描式高光谱系统。HyperspecI-V1的平均光谱分辨率为2.65 nm，HyperspecI-V2为8.53 nm。对于高光谱成像，HyperspecI-V1传感器在400-1000 nm范围内可生成61个通道，时空分辨率为2048 x 2048@47fps。HyperspecI-V2传感器可生成96个通道，时空分辨率为1024 x 1024@124fps。

高光谱图像传感器HyperspecI在智慧农业中的应用

高光谱图像传感器HyperspecI用于血氧检测和水质监测

高光谱图像传感器HyperspecI用于纺织品分类和苹果损伤检测

为了证明HyperspecI传感器的实际性能和广泛应用潜力，研究人员将其用于智慧农业的土壤植物分析开发（SPAD）和可溶性固体含量（SSC）评估，用于人体健康的血氧检测和水质监测，用于工业自动化的纺织品分类和苹果损伤检测，以及用于天文学的远程月球探测。

这些应用证明了HyperspecI传感器技术具有高信噪比（SNR）、高分辨率、超宽带和动态高光谱成像能力，在弱光环境、针对动态场景以及检测小型或远距离目标方面具有其它技术无法实现的独特优势。

此外，HyperspecI传感器体积小（29 mm x 29 mm x 42 mm）、重量轻（46 g）、集成度高，适合在有效载荷能力有限的平台上使用。研究人员认为，该方案为开发信息维度更高、成像分辨率更高、智能程度更高的下一代图像传感器打开了新大门。

论文链接：
https://doi.org/10.1038/s41586-024-08109-1