日前，北京理工大学光电学院王涌天教授、刘越教授团队成员徐怡博教授与来自谷歌公司和美国莱斯大学研究人员合作，开发了一种具有优异压缩比和吞吐量的基于单像素光电探测器的高光谱视频成像系统，成果发表于Nature Communications 15, 1456 (2024)。徐怡博教授为论文第一作者兼通讯作者，谷歌公司陆李阳博士、莱斯大学Saragadam 博士和Kevin Kelly博士也对此工作做出了贡献。
高光谱视频成像捕获场景的精细空间、光谱和时间信息，在生物荧光成像、遥感、监控、自动驾驶等领域中具有广泛应用。高光谱视频数据量极大，现有方法记录高维数据时占用大量传输带宽和存储空间，给无人机、手机、行星探测器和卫星等资源受限系统带来巨大压力。如何在保留信息的前提下最大限度减少采样数据量、大幅提升采样压缩比是高光谱视频成像中的关键问题。该研究利用四维高光谱视频的高度可压缩性，设计一种空间-光谱联合编码方案，提出基于四维空间信号稀疏度模型的优化重建和深度学习重建方法，实现了基于单像素探测器、可在低带宽下实现高通量的高光谱视频成像系统。如图1，优化重建方法先从包含互补图案的原始测量中重建灰度视频并提取光流，然后通过光流辅助四维全变分正则化优化方法实现高光谱视频重建。
图1 光流辅助四维全变分正则化高光谱视频重建过程示意图与流程图
实验中重建视频空间大小为128 × 128，具有64个光谱频道，帧率约4帧/秒，压缩比约为900:1。图2展示从重建的高光谱频帧中均匀选取16帧并转换为人工RGB图像，与彩色相机记录的画面对比，可见实现了高精度的重建。
图2 单像素成像实验优化算法重建结果
如图3，深度学习重建方法由两个阶段组成。先基于长短期记忆(LSTM)网络的模型利用5个相邻帧之间的时间相关性，从“结构化随机”编码测量中重建灰度视频。再基于残差连接的卷积神经网络(CNN)的高光谱重建网络，从深度空间-光谱联合压缩测量值及第一阶段的灰度视频中恢复高光谱帧。
图3 高光谱视频重建的深度学习方法示意图
如表1所示，对比基于两种方法重建高光谱帧的时间，可见深度学习方法在重建速度上有显著的提升。
表1 基于四维全变分的优化方法和深度学习方法的重构时间
论文链接：
https://www.nature.com/articles/s41467-024-45856-1
