近年来，能够捕获单光子的图像传感器取得了巨大进步。然而，这项技术却面临着一个主要的限制：由于其在单光子级别捕获场景信息，因此所获得的原始数据稀疏且有噪声。
据麦姆斯咨询报道，近日，美国威斯康星大学麦迪逊分校（University of Wisconsin-Madison）和波特兰州立大学（Portland State University）的联合科研团队在Nature Communications期刊上发表了以“CASPI: collaborative photon processing for active single-photon imaging”为主题的论文。该论文第一作者和通讯作者为威斯康星大学麦迪逊分校的Jongho Lee。
图1 CASPI是一种用于主动成像的通用型光子数据处理技术
这项研究提出了用于主动单光子成像的协同光子处理（CASPI），这是一种不依赖于特定技术及应用且无需训练的光子处理途径，可用于新兴的高分辨率单光子相机（SPC）。通过协作利用时空光子数据立方体中的局域与非局域相关性，即使在极具挑战性的照明条件下，CASPI也能可靠地估计场景属性。研究人员通过两个应用展示了CASPI的多功能性：从亚光子到高环境光状态的宽范围光子通量水平的激光雷达（LiDAR）成像，以及在低光子计数水平下的活细胞自体荧光寿命成像显微镜（FLIM）。研究人员期望将CASPI作为通用光子处理单元的基本构建块，有望在未来单光子相机芯片上实现。
CASPI相关论证：时空光子相关性、分级盲光子处理和引导光子处理
CASPI基于以下两个观测结果：（1）高分辨率单光子相机捕获的大多数自然场景的光子瞬态立方体在多尺度和维度上具有丰富的时空相关性；（2）通过协同利用局域和非局域光子相关性，即使在极具挑战性的照明条件下，研究人员也可以恢复真实的光子通量。
图2 时空光子相关性与分级盲光子处理
如图2b所示，即使在存在强噪声和失真的情况下，研究人员也可采用分级方法寻找相似的立方体。研究人员将最先进的滤波架构（BM3D47、BM4D48和V-BM4D49）推广到光子瞬态立方体，从而恢复了分级光子处理中的潜在光子通量。在获得精确的局部噪声估计后，研究人员分两阶段恢复光子通量：初始通量估计和利用维纳滤波（Wiener filtering）的最终通量估计。
研究人员提出了引导光子处理方法，利用光强与光子瞬态立方的空间频率相关性来恢复这种低信噪比（SNR）情况下的通量。研究人员的主要观点在于，通过对3D光子瞬态立方体的时间维度求和获得的2D伪强度图像与3D光子瞬态立方体具有类似的傅里叶幅度空间分布，但是由于时间平均，其信噪比显著提高。
作为恢复潜在光子通量的副产品，CASPI还可以通过对恢复的3D光子瞬态立方体的时间维度进行积分，来重建高质量的2D反射率（强度）图像。
CASPI的两个应用案例：
单光子激光雷达
研究人员展示了CASPI在一系列具有挑战性的照明条件下用于单光子激光雷达应用的优势。结果如图3所示，CASPI可以提高现有方法的性能；CASPI可以恢复在不同通量状态下的潜在光子通量，即使在极具挑战性的条件下也能实现可靠的深度估计。如图4所示，研究人员展示了单光子激光雷达硬件原型捕获的真实数据的实验结果。
图3 用于单光子激光雷达的CASPI
图4 CASPI用于单光子激光雷达的实验结果
由于CASPI对瞬态光子的反射次数和形状没有任何先验假设，因此它可以用于恢复包括多径效应在内的整个时变光子通量波形。这与传统激光雷达假设传感器像素仅接收来自场景点的直接光分量不同。
图5 恢复多径瞬态
低光子数荧光寿命成像显微镜
研究人员在具有挑战性的低光子计数数据集中验证了将CASPI用于荧光寿命成像显微镜的有效性，结果如图6所示。图7展示了三种不同方法在双指数寿命模型中估计的相对贡献：逐像素拟合（pixel-wise fitting）、全局拟合（global fitting）以及用CASPI恢复光子瞬态的逐像素拟合。结果表明，在荧光寿命成像显微镜中使用CASPI能够可靠地估计双指数衰减模型的参数。
图6 用于荧光寿命成像显微镜的CASPI
图7 与荧光寿命成像显微镜双指数衰减全局分析的比较
综上所述，由于CASPI采用基于立方体的变换，因此按顺序处理每个立方体可能会导致计算时间较长。幸运的是，每个立方体都可以独立处理，使得该方法适合用于大规模并行处理（例如利用低功耗GPU），从而在未来硬件芯片上实现实时成像。另外通过在硬件上使用快速傅里叶变换或光学计算，可以获得进一步的加速。此外，考虑到信号特征的时间位置在特定应用（例如激光雷达）中也传递重要信息，小波变换可能比傅里叶变换在恢复光子通量方面拥有更好的性能。
单光子相机的某些限制可能会随着未来硬件的改进而得到解决。但CASPI带来的改进是对硬件创新的补充，不仅可以解决光子饱和状态下首光子探测的限制，还可以解决当光子匮乏状态下没有或最小堆失真时低光子计数的限制。由低光子计数导致的低信噪比是许多实际成像应用中经常遇到的基本问题。由于其具有通用型免训练且盲操作特性，研究人员期望CASPI将来成为各类主动单光子相机数据流程的组成部分。在3D成像方面，它有望为未来的自动驾驶汽车和机器人应用提供远程低功耗闪光式激光雷达（flash LiDAR）。CASPI还有望在生物医学成像应用中实现荧光寿命对比的实时体内观察，以评估细胞活性引起的代谢或系统变化。
这项研究获得美国国家科学基金会杰出青年奖（NSF CAREER Award，1943149）、威斯康辛大学校友研究基金会、美国能源部拨款（DOE-SC0019013）、美国国立卫生研究院（NIH，U54CA268069）、视网膜研究基金会（RRF）Helmerich主席和美国国家科学基金会工程研究启动奖（NSF ERI，2138471）的资助和支持。
论文链接：
https://www.nature.com/articles/s41467-023-38893-9
