三维成像技术能够获取和记录完整的场景几何信息，在场景三维重构、高精度定位、工业检测等领域应用广泛。ToF（Time-of-Flight，飞行时间）相机与其他三维成像技术相比，具有体积小、成本低、实时深度成像等优势，其利用主动深度成像技术，基于光在相机和目标之间的飞行时间测量场景的深度信息，广泛应用于机器视觉、人机交互、工业自动化、自动驾驶、目标识别等领域。
然而，ToF相机在雾天、水下、生物组织等散射场景中成像时，传感器接收的返回信号是目标反射光和散射光的混合信号，深度测量误差较大，这限制了ToF相机在水下形貌勘测、雾天自动驾驶、生物医学等领域中的应用，因此如何提高ToF相机在散射场景中的成像质量引起了国内外学者的关注。
据麦姆斯咨询报道，近期，北京理工大学光电成像技术与系统教育部重点实验室科研团队在《红外与激光工程》期刊上发表了以“Time-of-Flight透散射介质成像技术综述”为主题的文章。该文章第一作者为王霞副教授，主要从事光电成像技术和光电检测技术方面的研究。
文中首先介绍ToF相机的基本结构及成像原理，分别介绍散射场景中ToF稳态成像和瞬态成像过程、透散射介质成像的理论和相关研究，之后介绍ToF透散射介质成像的应用前景，最后结合国内外研究现状，对未来ToF相机透散射介质成像研究的发展趋势进行预测和展望。
ToF成像基本原理
ToF相机依据是否直接获取光的飞行时间分为直接式ToF（d-ToF）相机和间接式ToF（i-ToF）相机。d-ToF相机发射光脉冲信号探测场景，其内部的计时器记录光信号在发射和接收之间的时间差，获得光在场景目标和相机之间的飞行时间，从而计算出目标和相机之间的距离。d-ToF相机测量精度比i-ToF相机高，测距范围较远，但是其图像分辨率较低，制作工艺较难，成本较高，目前已应用于车载激光雷达、增强现实（AR）或虚拟现实（VR）等领域。此外，由于不同光路达到探测器的时间不同，所以d-ToF在散射场景中成像时可通过设置时间门控，减少传感器对散射光的接收，其受到多径干扰的影响较小。因此，ToF透散射介质成像研究通常是针对i-ToF开展。
依据是否采用相关测量，i-ToF相机分为脉冲调制式ToF（PL-ToF）和连续波调制式ToF（CW-ToF）。PL-ToF相机采用脉冲调制光信号，传感器接收来自探测场景返回的信号，接收电路的光开关S₀和S₁交替闭合，对应的电容积累电荷，如图1所示。
图1 PL-ToF深度成像系统示意图
CW-ToF相机成像过程如图2所示，光源经正弦信号调制，调制光信号经场景目标反射后，由ToF传感器接收，接收信号与参考信号进行相关，通过四步相移等方式获得接收信号和参考信号间的相位差，由相位差计算出目标深度。
图2 CW-ToF深度成像系统示意图
两种i-ToF相机各具优势，CW-ToF相机测量精度高，但是计算较复杂、功耗大。PL-ToF相机因其测量原理的限制，在近距离和远距离处误差较大，测量精度偏低，容易受背景噪声和暗噪声影响，但是其计算更简单、计算量更低。i-ToF图像分辨率比d-ToF相机高，成本较低，但抗干扰能力较差。由于ToF成像能够提供场景各点的深度信息，有助于判断物体的形貌、距离等，广泛应用于目标识别、三维场景重构、机器视觉、人机交互等领域。
ToF稳态成像的透散射介质成像方法
ToF透散射介质成像的目标是抑制散射分量的影响或从接收信号中分离目标分量，提升ToF相机在散射场景中的成像质量。ToF稳态成像是直接基于商用ToF相机获取场景信息，而不需要恢复精确的时间响应。在ToF稳态成像的透散射介质成像中，由于PL-ToF和CW-ToF成像原理不同，所以国内外学者针对不同的成像系统，研究了不同的深度图像恢复方法。
散射场景中ToF稳态成像的过程可描述为相机的光源经信号调制后照亮场景，经场景目标反射后，由传感器接收。从信号处理的角度，这一过程可表示为发射信号Lemit(t)和场景响应i(t)的卷积。
当探测场景存在散射介质时，由于散射介质对光的散射作用，传感器接收信号是目标反射光和散射光的混叠信号，如图3所示。因此，在散射场景中，ToF成像因受到多径干扰的影响，会出现物体距离的错误估计、三维形貌被扭曲等现象，不利于其在雾天、水下等场景中的应用，所以ToF透散射介质成像能够更准确地获取散射场景中的有效深度信息，具有重要意义及应用前景。
图3 散射场景中ToF稳态成像过程示意图
PL-ToF透散射介质成像方法
PL-ToF相机的光源经方波脉冲调制，在无散射介质的场景中，返回信号Lreceive(t)只受到场景目标的影响，返回幅值与目标反射率成正比，与发射信号Lemit(t)之间的时间延迟与目标实际距离相关，如图4（a）。在有散射介质存在的场景中，返回信号Lreceive(t)受到光散射的影响，是目标分量和散射分量多个回波信号的叠加，波形发生畸变，不再保持方波波形，如图4（b）所示。
图4 PL-ToF成像的发射和接收光信号的波形图。（a）清晰场景中的波形图；（b）散射场景中的波形图
Laurenzis M等人采用三维距离选通成像系统最先对这一过程进行物理建模，该模型为后续PL-ToF透散射介质成像提供了理论基础，有利于从散射光对深度成像的机理出发抑制多径干扰的影响。Kijima D等人进一步细化了雾天PL-ToF成像模型，基于该模型的实验装置及实验结果如图5所示。Kijima D等人增加了一个时间门控在光源发射信号后立即打开，以接收只包含散射分量的信号，并依据雾的散射特性估计，实现在能见度为10 m的雾天场景中强度和深度图像恢复，如图6所示，振幅图像的峰值信噪比为27.04，深度图像在2.9 m的目标处的绝对均值误差为0.07 m。该方法能够有效估计散射分量，实时恢复雾天场景的深度图像，该成果在雾天自动驾驶领域有广阔的应用前景。
图5 基于多重曝光时间的ToF雾天成像的实验装置及结果
图6 CW-ToF成像的发射和接收光信号的波形图。（a）清晰场景中的波形图；（b）散射场景中的波形图
有文献研究了水下场景中ToF透散射介质成像，与其他研究不同，其主要关注前向散射对ToF成像的影响。该研究采用时间选通抑制后向散射，并采用贝叶斯概率模型从受到前向散射干扰的返回信号中识别反射脉冲，利用邻近像素信息重新配置深度信息，实现了在海湾、沿海和深海三种水下环境中距离相机7~10 m的目标的深度信息恢复。其中，在10 m距离处的深度恢复图像的偏差在2.83%。该技术能够在水下实时恢复场景的深度信息，在水下形貌勘测等领域有可观的应用价值。
CW-ToF透散射介质成像方法
2018年，Consani等人首次探究了雾对CW-ToF成像的影响，在Zemax上基于光线追迹模拟了雾天ToF成像过程，指出误差主要来自光到达场景前的后向散射。该研究为雾天CW-ToF透散射介质成像提供了理论和仿真基础，有助于理解气溶胶粒子对CW-ToF成像的影响。
在无散射介质的场景中，传感器接收信号与发射信号之间的相位差Δφ只与目标的实际距离和光源调制频率相关，Δφ=4πfd0/c，如图6（a）。在有散射介质的场景中，传感器接收信号为目标反射光信号和散射光信号的混叠信号，如图6（b）所示。
研究发现，当光源调制频率高于全局传输带宽时，ToF相机接收到的多径干扰分量可近似为直流分量，从而可以实现散射场景中散射分量的抑制。Takeshi Muraji等人进一步扩展了基于相量表示的透散射介质成像方法，其基于位于同一深度的目标受到散射分量影响相同的思想，采用多频测量场景，将位于同一深度的像素进行聚类，通过线性拟合的方式，消除散射分量的影响，实现了在目标深度为8.71 m时恢复的深度图像的误差为0.23 m。如图7所示，该方法不再对调制频率的范围有限制，且无需繁琐的迭代优化过程，适用于同一深度至少存在两个反射率的目标的场景，在雾天自动驾驶等户外场景中有很大的应用价值。
图7 Takeshi Muraji等人采用的相量表示（a）和实验结果（b）
有研究同样采用相量表示，基于局部二次先验和全局对称先验，采用迭代加权最小二乘法估计散射分量。该方法适应于包含目标前景和背景的场景，且目标需要与相机之间有足够的距离，以满足相机接收的信号中目标前的散射分量达到饱和，从而能够采用背景区域的散射分量近似目标区域的散射分量，实验结果表明该方法恢复深度图像的绝对误差均值最小为1.8 cm。该方法适应于包含目标前景和背景的场景，且目标需要与相机之间有足够的距离，以满足相机接收的信号中目标前的散射分量达到饱和，从而能够采用背景区域的散射分量近似目标区域的散射分量。由于该方法在目标充满整个相机视场、散射介质非均匀或动态散射场景时无法恢复场景深度，因此在实际应用中，该技术仍需进一步优化和改进。笔者课题组研究了偏振相量成像法，将偏振光学去雾成像从可见光成像领域引入到CW-ToF透散射介质成像中，提出了偏振度相量的概念，以描述散射场景中ToF测量数据的偏振特性，基于偏振度相量从背景区域估计出散射分量，从而实现雾天环境中振幅和深度图像的恢复，深度恢复图像的绝对误差均值最小为0.01 m。偏振相量成像法的实验装置如图8所示，采用时序型偏振成像系统，通过旋转传感器前的偏振片，采集不同偏振度下的振幅和相位图像。
图8 笔者课题组采用CW-ToF偏振成像系统（a）和实验结果（b）
此外，Lu H等人同时考虑了散射场景的可见光信息和深度信息，采用水下中值双通道先验估计出粗略的深度图像，并采用图像插值方法弥补丢失的深度信息，结合可见光去雾图像进行深度图像滤波，提升水下深度成像质量，如图9所示。该方法综合考虑了场景的深度信息和颜色信息，但是没有考虑散射光对深度图像的退化机理，其在海底三维重构领域有重要的应用价值。
图9 Lu H等人提出方法的流程图（a）和实验结果（b）
在ToF稳态成像领域，国内外学者针对不同的ToF成像原理采用不同的方式提升散射场景中ToF成像质量。基于PL-ToF相机的透散射介质成像主要抑制散射光对脉冲延迟测量的影响，而基于CW-ToF相机的透散射介质成像主要基于相量表示分离散射分量。表1对不同方法的性能进行总结，当前深度恢复精度在厘米量级，在未来仍需进一步提升。
ToF瞬态成像的透散射介质成像方法
瞬态成像描述了光在场景中传播的瞬间，有利于分析复杂环境中光的传播路径。基于ToF相机的瞬态成像研究最早开始于2013年，Heide等人对商用CW-ToF相机进行了硬件修改，建立了ToF时域瞬态成像模型，在多个调制频率和相位下测量场景，通过计算重构瞬态图像，如图10所示。瞬态图像是由一系列瞬态像素αx,y(τ)构成的，下标x,y为传感器像素坐标，其描述了场景在极短光脉冲照明下像素强度随时间的变化。由于时域瞬态成像模型难以分析噪声问题，且计算成本较高，后续又发展了频域瞬态成像模型和压缩感知瞬态成像模型。ToF瞬态成像的透散射介质成像过程如图11所示。
图10 Heide等人拍摄的瞬态图像时间切片
图11 散射场景中ToF瞬态成像过程示意图
为了恢复散射场景中的瞬态图像，Heide F等人采用卷积稀疏编码的方式，采用修正的高斯函数描述瞬态像素，构建过完备基，并建立基追踪模型以重构瞬态图像。该方法在不同浓度的牛奶和水的混合液体中进行，恢复最小误差在1~5 cm内，其能够在一定程度上抑制散射退化，但对真实物理过程的保真度不高，且计算成本较高。Wu R H等人基于光的偏振特性，采用主动偏振瞬态成像系统，提出了瞬态偏振度的概念，在偏振特性均匀的散射介质中恢复瞬态图像，其实验装置及重构效果如图12所示。有研究进一步扩展了这一项研究，采用自适应偏振差分方法实现瞬态成像。偏振瞬态成像方法利用了光的偏振特性，有效抑制了散射光对瞬态图像重构的影响，在浓度为0.1~10 mfp的散射介质中，恢复瞬态图像的误差不超过0.5 m。但是该方法需要长时间采集大量的数据以重构瞬态图像，不适于动态、非稳定的散射场景中，因此，其应用到真实水下场景还需进一步研究，减少方法的运行时间。
此外，Wu R H等人将稳态成像中单次散射模型扩展到瞬态成像领域，采用偏移拍摄法求解深度，重构瞬态图像，其提出的瞬态成像的单次散射模型。该方法在60 L水中混入15 mL的牛奶的场景中重构的瞬态图像的峰值信噪比为34.4065。该项研究进一步丰富了散射场景中瞬态图像重构模型，重构出目标的深度和纹理，在火灾救援、工业检测、水下勘测等领域有重要的应用价值。
图12 Wu R H等人偏振瞬态图像重构方法的实验装置及结果
在瞬态成像领域，国内外学者采用了卷积稀疏编码、偏振瞬态成像和建立单散射瞬态成像模型等方式恢复散射场景中的瞬态图像，不同方法各具特色，其性能总结于表2中。当前瞬态成像方法较难实现实时成像，散射场景中深度恢复精度在厘米量级。
ToF透散射介质成像的应用前景
ToF相机能够获取场景目标的距离、纹理等形貌信息，在自动驾驶、人机交互等领域已展示了其应用价值，其透散射介质成像的潜在应用前景如下：
（1）工业自动化。Behrje U等人将ToF相机安装在叉车的顶部，以实现在仓库中叉车的自动驾驶。当仓库环境中烟尘较为严重时，ToF深度测量受到多径干扰的影响，会引起自动驾驶中的错误定位及与前方障碍物距离的错误估计，因此，ToF透散射介质成像研究有助于推动ToF相机在工业生产自动化中的应用。
（2）自动驾驶。2021年，Niskanen I等人基于BIM检测移动车辆，并对车辆进行三维建模，如图13所示。在晴朗的天气条件下，实现了90%的检测准确率，但是其性能会因雾天气溶胶粒子对光的散射作用而降低。因此ToF透散射介质成像研究能够进一步推动ToF相机在道路交流流量监测、物流监测、自动驾驶的应用。
图13 ToF相机应用于移动车辆检测
（3）农业生产。2011年，Klose R等人使用ToF相机评估植物的表现型，能够在植物培育、种植期间监测植物生长状态，优化养殖策略。2014年，Kazmi W等人测试了三种ToF相机对植物叶片成像的性能，推动了ToF相机在农业自动化生产领域的应用。2016年，Dionisio A等人基于Kinect相机，采用高度选择和RGB分割方法分离作物和杂草。2018年，有研究对玉米进行三维重构，如图14所示。以评估玉米的生长状况，更好地进行种植管理。在户外场景中，雾霾天气会影响ToF重构质量，对植物的评估效果，因此ToF透散射介质成像研究在农业生产领域有重要的应用价值。
图14 ToF相机应用于玉米植株的三维重构
（4）水下勘测。2014年，美国华盛顿大学Tsui C L等人首次将ToF相机用于水下目标深度探测，基于商业ToF相机进行硬件修改，实现水下深度图像和点云图像的采集。Atif Anwer等人基于光折射的物理模型，结合Kinect在水下获得的RGB、深度图像和近红外强度图像，实现水下目标的三维成像。Digumarti S T等人在巴哈马群岛的珊瑚园区对水下珊瑚进行三维重构，观测珊瑚的生态体积如图15所示。在浑浊的水下环境中，ToF相机因受到散射光的影响，重构质量显著下降，因此ToF透散射介质成像研究有利于提升水下三维重构质量，推动ToF相机进一步应用于不同的水下环境进行形貌勘测等任务。
图15 ToF相机在水下对珊瑚进行三维重构的应用场景
结论
ToF成像是一种主动深度成像技术，在散射环境进行ToF成像时，由于散射介质对光的散射作用，ToF深度测量会受到多径干扰，测量误差较大。很多研究针对ToF在散射场景中多径干扰的校正进行开展，依据是否恢复精确的时间响应，分为稳态成像领域和瞬态成像领域。文中对这两个领域中，ToF相机在散射环境下成像过程进行介绍和分析，分别介绍了两个领域的ToF透散射介质成像方法。与稳态成像相比，瞬态成像能够记录更丰富的场景信息，有助于理解复杂环境中光的传播过程，但是其成本较高，难以实时成像。稳态成像一般基于商业ToF相机采集数据，无需恢复精确的时间响应，成本较低。目前，ToF相机透散射介质成像领域仍处于起步阶段，各种方法已有效提升散射环境中ToF的成像质量，但是由散射介质引起的多径干扰很难完全消除且在散射介质非均匀分布的场景图像恢复精确度降低，各种方法的鲁棒性、恢复精确度仍有待进一步提升，未来研究应向着低成本、高精度的恢复效果进一步发展。
结合当前国内外研究现状，ToF透散射介质成像未来研究方向可从以下三个方面进一步研究和完善：
（1）ToF透散射介质成像理论研究。目前已在稳态成像领域和瞬态成像领域建立了一些成像模型，但是这些成像模型均存在一些自身的局限性，比如运算时间长、散射介质的空间均匀性等，这些限制了其在实际场景中的应用。因此，在未来可借鉴其他透散射成像领域的理论，如可见光透散射介质成像理论，进一步丰富ToF透散射介质成像的理论和技术，进一步推动ToF透散射介质成像在实际场景中的应用。
（2）基于深度学习方法的ToF深度透散射介质成像。深度学习在图像处理中展现出强大的处理能力，一些深度学习网络已应用于ToF相机的MPI校正中，并获得不错的处理效果。目前尚未建立针对散射环境中ToF成像特性的深度学习网络，因此，未来基于深度学习方法的ToF深度透散射介质成像是一个值得研究的方向。
（3）ToF与其他技术相融合的透散射介质成像。由于不同探测器具有其自身独特的优势，不同探测器数据融合一直是计算机视觉领域的研究热点。目前，已有学者采用RGB-D相机实现水下深度成像，在未来可以结合ToF与其他成像技术，更好地利用不同探测器的优势，实现更鲁棒的透散射介质成像。
该项研究获得国家自然科学基金（62031018）的资助和支持。
DOI: 10.3788/IRLA20220318
延伸阅读：
《飞行时间（ToF）传感器技术及应用-2020版》
《激光雷达（LiDAR）技术及市场-2022版》
《汽车激光雷达（LiDAR）专利全景分析-2022版》
