光场成像技术——重塑视觉维度

撰稿人：张润南，左超

论文题目：光场表征及其分辨率提升技术：文献综述及最新进展（特邀）

作者：张润南^1,2,3,  周宁^1,2,3,  周子豪^1,2,3,  杜和恒^1,2,3,  陈钱²,  左超^1,2,3

完成单位：1.南京理工大学 电子工程与光电技术学院 智能计算成像实验室(SCILab)；2.南京理工大学 江苏省光谱成像与智能感知重点实验室；3.南京理工大学 智能计算成像研究院（SCIRI）

自高斯时代以来，成像系统的设计和开发便始终致力于透镜的持续迭代和优化，以收集来自物平面上某点向不同方向发射的光线，并尽可能完美地将其汇聚到像平面上的一个点。然而，图像传感器仅能捕捉并记录下光线的空间位置信息，导致角度信息的丢失，并完全丧失了对三维场景的视角变换与深度感知能力。为了弥补这一缺陷，计算光场成像技术应运而生，它能够记录空间光辐射场的完整分布，联合记录空间位置和角度信息，突破了经典成像的局限性，正逐渐被应用于生命科学、国防安全、虚拟现实/增强现实、环境监测等领域，具有重要的学术研究价值和广阔的应用潜力。然而，光场成像技术仍然受到数字成像器件和图像传感器的联合制约，成像系统的有限空间带宽积致使光场成像在实际应用中往往需要在空间分辨率和角度分辨率之间做出权衡，导致难以达到传统成像技术的高空间分辨率。自光场成像技术诞生以来，如何赋予其更高的自由度，即在保持高分辨率成像的前提下，提高时间分辨率和角度分辨率，从而实现更清晰、更立体的成像性能是光场成像技术亟需解决的关键问题，也一直是该领域的研究热点。本综述全面回顾了光场成像技术的发展历程，阐述了全光函数和四维光场的基本概念，并总结了在时间、空间和角度这三个维度上实现高分辨率成像的关键方法，最后还对光场成像技术的未来发展趋势进行了展望。

光，作为电磁场的一种表现形式，具备波长、振幅、相位等一系列物理属性。在传统的成像技术中，我们仅能捕捉到光辐射场在二维平面上的投影强度，而无法获取光线角度等多维度的光学信息。相较之下，光场成像技术的理论基础源于全光函数（plenoptic function），该概念属于射线光学的范畴，其核心在于为物理空间中传播的光线赋予相应的辐射量度（radiance）。光场成像技术认为，在三维空间中，光线会向各个方向传播并穿透物体，期间可能会遭遇阻挡、衰减或散射等现象。通过捕捉这些复杂的光学行为，光场成像技术能够提供更为全面和深入的光学信息，从而极大地扩展了我们对光与物质相互作用的理解。与计算视觉等领域通过建模来模拟这种光的复杂的行为所不同的是，全光函数提供了一种非物理的、摒弃模型依赖的、纯粹基于光现象学描述的光分布方式。为了适应光的所有可能变化而不依赖于某个基础模型，它采用了一种高维度的描述方式：在空间的任意位置、针对任意可能的传播方向、覆盖所有波长，并且在时间的每一刻，都能够赋予不同的辐射亮度值，如图1所示。实际上，全光函数可以进一步被简化为一个四维函数。四维光场被定义为空间中沿光线的辐射亮度分布。通过这些简化和约束，光场表征得以从全光函数这一更广泛的描述中提炼出来，为光学成像和计算提供了一个更为精确和实用的理论框架，推动光场成像技术从理论走向了实际应用。

上述的定义都将光辐射近似为几何光线，而忽略了其波动特性。维格纳分布函数和模糊函数是两种常用的相空间中表征形式。维格纳分布函数及其傅里叶变换——模糊函数可以用于代替复杂的菲涅尔衍射积分来计算光辐射在光学系统中的传播和变换。光场实际上等同于经过平滑处理的维格纳分布函数，并且在几何光学近似的条件下，与原始的维格纳分布函数是等价的。实际光场的观测值等于光辐射之维格纳分布函数与光学系统孔径函数之维格纳分布函数的卷积。相比于几何光场的定义，这一观测光场（Observable light field）更精确地描述了衍射受限的光辐射分布特性。于此同时，与观测光场类似，增强光场（Augmented light field, ALF）的概念被提出来将光场推广到波动光学中进行解释。图2展示了光场、维格纳分布函数以及增强光场之间的关联。如图2（a）所示，波前的相位与相应光线的角度相关。在维格纳分布函数表示中，相位被表示为局部空间频率，图2（a）展示了一个球面波前和光线的示意图，光线垂直于波前。维格纳分布函数代表局部空间频率。在维格纳坐标空间中，球面波的维格纳分布函数与位置-角度坐标空间中的光场相似。光线的传播角度可以由局部空间频率表示。与光场不同，维格纳分布函数和增强光场能够支持衍射和干涉现象。考虑经典的双缝实验，如图2（b）所示，在针孔处的衍射波前传播到屏幕上形成正弦波图案。而增强光场表示引入了一个位于双缝中点的“虚负光源”（由蓝色表示），在剪切和投影之后，可以成功地产生正弦波干涉条纹，准确地表示了干涉现象。这种“虚负光源”的引入与维格纳分布函数中的负值相呼应，揭示了干涉相消的物理本质。

在传统相机成像光路中插入一块微透镜阵列，使得相机能够单帧记录四维光场。这一特性使得高速动态三维场景记录成为可能，并很快在显微成像领域得到了广泛应用。光场显微成像技术，作为一种新颖的高速体成像方法，迅速在生命科学界占据了一席之地，并开拓了其独特的应用领域。该技术在很大程度上突破了传统显微成像技术，如共聚焦显微成像、光片显微成像以及双光子显微成像等，在成像速度方面的局限性，为生命科学研究者提供了更为丰富和精确的三维成像数据，极大地推动了生命科学研究的进展和深入。

基于微透镜阵列的光场成像

在基于传统科勒照明的明场显微镜的原始成像面插入一块微透镜阵列，图像传感器放置于微透镜阵列后焦面处，类似于基于微透镜阵列的光场相机，该成像系统能够获得样本在不同视点和不同焦面处的显微图像。通过光强堆栈和点扩散函数进行3D反卷积，可以实现单帧体成像，图 3展示了光场显微镜的基本结构以及在生命科学中的应用。

基于不规则相位掩膜的光场成像

受到四维空间-角度光场信息编码与记录方式的启发，在光路中放置一块相位散射片（diffuser），将空间-角度信息编码到一个散斑场（即衍射图样）中，并从单张散焦图像中解调出四维光场数据。光线经过成像透镜和散射片，其中散焦对光场空间和角度信息进行编码，再传播至图像传感器，进而计算重构出光场信号。与现有的单帧体积获取方式相比，该系统更小更轻，在整个可用深度范围内的横向和轴向分辨率提高了两倍以上，能够在自由移动动物中对神经体成像，以及在孵化器和芯片实验室设备中对动态样本进行三维运动研究。

基于频域调制的外差式光场成像

另一种获取光场的结构还包括外差式光场相机（Heterodyne light field camera）。与基于微透镜阵列的光场成像方法在空间域对光场进行调制不同，外差式光场相机对四维光场在傅里叶频域中进行调制。从傅里叶域来看，某个深度位置所成的像就是四维光场沿相应角度的二维切片。如果在这个深度平面放置一片具有特定透过率函数的编码掩膜，则光线经过掩膜滤光的过程在傅里叶域表现为光场频谱与透过率函数傅里叶变换的卷积。将掩膜透过率函数设计为余弦函数、其傅里叶变换为脉冲函数，就可以实现光场频谱沿角度的复制和搬移。调制后的光场再会聚到探测器上，即沿零度角重新作切片采样（虚线方框内所示）采样后的图像频谱中已经包含了光场方向维度的频谱信息。对光场进行解调时将探测器图像的频谱依序重新排列，即可得到四维光场的频谱。

基于相机阵列的光场成像

通过微透镜阵列、相位散射片等方式，能够动态记录和重建光场的空间-角度信息。然而，这些方法仍然依赖于传统的二维相机传感器，不可避免的会存在空间分辨率和角度分辨率的权衡。为了克服这一局限，除了增加和优化硬件设施，使用相机阵列也是一种高速光场获取方式。

光场成像技术因其能够动态捕获场景的四维信息而获得了广泛应用，为观察者提供了对场景深度和视角变换的全新感知。然而，如何提升其空间分辨率，从而实现更清晰的成像效果，进一步拓宽其潜在用途，仍是研究者们追求的目标。

基于传递函数的光场反卷积

光场相机能够从单次拍摄中获取场景的四维空间-角度信息。然而，这种方式是以牺牲空间分辨率为代价来换取角度分辨率。光场相机的空间分辨率取决于微透镜阵列的尺寸，即光场相机的空间分辨率采样远低于传感器的像素采样，导致了空间采样的混叠。尽管现有光场成像技术生成的图像分辨率通常低于传统成像技术，但通过明确地模拟成像过程，并结合Lambertian反射和纹理统计等先验信息，可以以更高的分辨率重建这些图像，并消除混叠的影响。

压缩光场成像

由低维度数据重建高维度光场本质上是一个不适定（ill posed problem）逆问题（inverse problem）的求解，解决不适定性的有效途径是在图像处理中引入关于图像的先验信息，将不适定性问题正定化，从而获得重建问题的最优解。压缩光场成像这类“以少博多”、“以小博大”的方式，需要借助于物体或者光场本身的稀疏性这一先验条件，存在依赖样品的特殊性质这一缺点，限制了其普适性。

孔径编码光场成像

本课题组将孔径编码技术应用于显微成像，提出了孔径编码显微技术（programmable aperture microscopy）。通过将可编程液晶显示屏（LCD）集成到传统宽场显微镜中，实现了多模态计算成像。LCD在显微镜物镜的后孔径处选择性地调制光的分布，使得在单一设备中能够快速实现并切换多种成像技术，包括明场、暗场、差分相衬成像、定量相位成像、多视角成像和全分辨率光场成像模式。

扫描光场成像

通过多张低分辨率图像重建高分辨率图像也是一种常见的超分辨率方法。在超分辨率成像技术中，提升图像的空间分辨率的基础是有多个从同一场景捕获的低分辨率图像。在超分辨率成像中，这些低分辨率图像通常代表了对同一场景的不同“观察视角”。这意味着，这些图像不仅经过了亚像素级的精确移位，还可能存在一定程度的混叠现象。然而，如果这些图像之间存在不同的亚像素级移位，并且伴随着混叠，那么每个图像就包含了其他图像所没有的独特信息。在这种情况下，每个低分辨率图像中所蕴含的新信息可以被用来合成高分辨率图像。多帧图像超分辨的核心思想在于利用时间带宽（获取同一场景的多帧图像序列）换取空间分辨，构建病态逆向问题的求解矩阵。为了获取同一场景的不同观察视角，需要存在相对场景的运动。

强度堆栈光场反演

另一类计算光场成像技术是通过轴向移动相机采集聚焦堆栈图像序列，基于强度测量进行光场反演，相比于编码掩膜，其优点在于图像采集过程中可以保持相机孔径全开，大大增加了信噪比。几何近似下的光场成像同样具备与维格纳分布函数光学信号变换类似的成像性质，例如光场传播等效于四维光场的空间坐标剪切，剪切后的光场沿角度坐标轴进行投影可以获得聚焦于特定深度的等效成像效果。通过获取不同轴向位置的强度图像即可使用反向投影进行光场重建（light field back-projection，LFBP）。

光场矩成像

反向投影法通常需要较高的轴向采样率来保证光场重建的质量，仍需要采集较大数量的图像序列。相较之下，使用光强传输方程只需增加一幅额外的离焦光强图像（一幅聚焦图加上一幅离焦图）就可以恢复出相位信息。从信息量角度来看是合乎逻辑的。因为光波场的复振幅仅仅定义在二维平面上，采用离焦光强图像的信息“置换”出相位信息在信息量上是“守恒”的。“光场矩成像”实际上就是光强传输方程在几何光学近似下的变体，因此任何关于光强传输方程的求解与轴向微分估计算法等均可以直接“移植”到光场矩成像中。

光场相机在空间分辨率和角度分辨率之间面临一个固有的权衡问题，往往导致二者的分辨率均受到损失。接下来将介绍光场角度分辨率的提升方法。

基于视角插值的光场成像

采用计算机视觉技术来对缺失的角度采样进行直接插值，从而补偿输入中的较低角度分辨率是一种较为直接的角度分辨率提高的方式。除此之外，依靠对场景的精确深度估计来提升角度分辨率也是一种常用的方法。

基于傅里叶域分析的光场成像

另一种对光场进行分析的方法是从傅里叶域入手。利用连续傅里叶域中的稀疏性来从少量视角采样中重建高分辨率的四维光场。该方法从频谱的某个初始近似值出发，模拟连续稀疏谱向离散域的投影，优化连续频率域内的稀疏性。该方法能够重建那些从未被直接记录的高质量视图，甚至可以外推至记录视场之外的新图像。

在傅里叶域下利用一系列剪切波构成一个复合滤波器，对频谱信号进行更好地滤波，并解决由欠采样导致的混叠频谱问题。由于采样不足，混叠的副本（灰色）和期望信号（绿色）发生了重叠，因此使用传统的滤波方法进行带限重建是不可行的。通过4个深度层的频率平面划分，如果给定了深度层，能够在极线平面图中进行插值，而不会产生混叠伪影。

南京理工大学智能计算成像实验室（SCILab）隶属于南京理工大学光学工程国家一级重点学科带头人陈钱教授领衔的“光谱成像与信息处理”教育部长江学者创新团队、首批“全国高校黄大年式教师团队”。实验室学术带头人左超教授为教育部长江学者特聘教授、国际光学工程学会会士（SPIE Fellow）、美国光学学会会士（Optica Fellow），入选科睿唯安全球高被引科学家。实验室致力于研发新一代计算成像与传感技术，在国家重大需求牵引及重点项目支持下开展新型光学成像的机理探索、工程实践以及先进仪器的研制工作，并开拓其在生物医药、智能制造、国防安全等领域的前沿应用。研究成果已在SCI源刊上发表论文200余篇，其中36篇论文被选作Light、Optica、LPR等期刊封面论文，20篇论文入选ESI高被引/热点论文，论文被引超过16000次。获中国光学工程学会技术发明奖一等奖、江苏省科学技术奖基础类一等奖、日内瓦国际发明展“特别嘉许金奖”等。培养研究生5人获全国光学工程优秀博士论文/提名奖，5人获中国光学学会王大珩光学奖，10人入围Light全国光学博士生学术竞赛全国百强，获“挑战杯”、“创青春”、“研电赛”全国金奖十余次，“互联网+”全国总冠军。