近日，浙江大学光电科学与工程学院的郑臻荣教授团队与南京大学现代工程与应用科学学院徐挺教授团队合作，在计算光谱成像领域取得新进展：提出了基于偏振复用超构透镜的端到端计算光谱成像框架。该研究通过同时调制超构透镜的正交偏振通道，并与后端的神经网络一起联合优化，实现了高保真的光谱重建结果。这项技术的发展不仅打破了前端超构透镜和后端恢复网络的传统界限，更为光谱成像系统的小型化和性能提升带来了新的希望。研究成果以“Neural-Optic Co-Designed Polarization-Multiplexed Metalens for Compact Computational Spectral Imaging”为题，于近期发表于光学知名期刊《Laser & Photonics Reviews》上。
在数据爆炸的今天，人类对视觉信息的需求不断增长。传统RGB相机提供的2D图像已无法满足人们对细节的追求，而光谱成像技术能够捕获更全面的3D数据。随着移动设备和AR/VR技术的普及，人们对便携式成像技术的需求日益增加。新一代平面光学元件——超构透镜，不仅能够精确调控光的相位，还能同时调节光的振幅与偏振状态，为推动光谱成像系统向小型化与高效化发展开辟了新路径。
该工作提出了一种基于偏振复用超构透镜的计算光谱成像系统（图1a）。该系统利用偏振复用的超构透镜对x和y偏振态下的光进行独立调制，将场景的光谱信息差异化地调制到商用偏振相机上。通过捕获正交的x和y偏振状态下的RGB图像，再结合双输入的ResUNet神经网络进行恢复，实现了光谱图像的精确重建。
图1 基于偏振复用超构透镜的计算光谱成像示意图（a）与流程图（b）
整个框架（图1b）主要包含超构透镜调制、成像模型和图像恢复三大模块，均采用可微分函数设计，确保了整个计算光谱成像框架的完全可微分性，为光学元件与恢复网络的联合优化奠定基础。采用预训练的多层感知器（MLP）精确建立超构透镜单元结构与复振幅响应间的映射关系，结合菲涅尔衍射原理，推导出适用于偏振复用的点扩散函数（PSFs）。通过这些PSFs与光谱图像的卷积，得到特定偏振的光学响应。接着，利用双输入神经网络将模糊的RGB图像转换回光谱域，并在反向传播过程中对超构透镜和恢复网络的参数进行联合优化，以提高重建光谱图像的准确性。
该工作制作了样机（图2）对原理进行验证，对真实场景进行了高保真度的光谱图像重建（图3）。
图2 加工的超构透镜样机与测量的PSFs
图3 真实场景的光谱图像重建
本研究提出了一种全新的端到端计算光谱成像系统，该系统巧妙利用了偏振复用超构透镜同步调制两个正交偏振通道的光，辅以偏振相机捕获更多编码信息。利用端到端可微分框架，该系统对超构透镜和后端恢复网络进行了协同优化，实现了高保真度的光谱成像。这一研究不仅加深了超构透镜与计算成像领域的融合，也预示着高性能光谱成像技术在小型化和性能提升方面的新突破。
浙江大学光电科学与工程学院博士生张强波和南京大学现代工程与应用科学学院博士生林沛城为论文共同第一作者，浙江大学光电科学与工程学院郑臻荣教授和南京大学现代工程与应用科学学院徐挺教授为共同通讯作者。该研究得到了科技部重点研发计划、国家自然科学基金等支持。
论文链接：
https://doi.org/10.1002/lpor.202400187
