【光电智造】为什么光场相机得不到普及？

今日光电

为什么光场相机得不到普及？！

外界（特别是摄影消费者）对当下光场相机性能和前景的普遍看法，即这盛极一时的“神器”被负面看待为“鸡肋”，科技媒体界甚至曾在一段时间内普遍看衰光场相机的市场价值。

所谓普及，就是指这一设备的广泛应用，广泛的应用意味着旺盛且庞大的需求。而在需求层面，可以分为To C （个体消费者，如摄影爱好者）和To B（企业机构）两个方面。

本文在尝试回答这个问题之余，也逆向探讨这一个问题的反问，即光场相机究竟在什么样的条件下可以得到普及？限制其走向大众市场的“紧箍咒”究竟为何？后续技术进步的“大乘佛法真经” 能否去除这一桎梏？如果可以，光场相机又会在哪些领域发扬光大？

一、 空间－视角信息折中，光场相机的阿喀琉斯之踵

就To C端而言，最大的需求源于摄影摄像，而光场相机的市场遇冷，最主要的原因还是其本身硬件系统的空间－视角折中设计导致其空间分辨率过低。光场相机的原理是一个微透镜阵列被置于主透镜和CCD/CMOS感光芯片之间 （见图1）， 以同时得到不同视角下的场景图片。每个微透镜下的一个像素，对应主透镜上的一小部分，从而代表了一个观察视角；每个微透镜本身则对应一个物方景象空间点。假定感光芯片像素总数为 , 则其等于视角信息数目 （每个微透镜下的像素数）与空间信息数目（微透镜总数）的乘积，。

图1 光场相机硬件结构图 （Lynch, Kyle. Development of a 3-D fluid velocimetry technique based on light field imaging. Diss. 2011）

图2 光场相机实物结构图（Vomma官网）

在这一原理的限制下，一个原始像素数目为5638*7728 （4357万）像素的感光芯片，如果微透镜下像素数目为14*14， 则最终得到的单视角图片只有402*552（22万）像素。这什么水平呢？用手机摄像头的像素数目做类比，这种级别的分辨率，仅仅略优于世界上第一款安装摄像头的手机，于千禧年2000发布的夏普J-SH04，就图3这款爷爷辈的手机，摄像头像素11万。

图3 世界上首款带摄像头的相机－夏普J-SH04

这一原理性的硬件限制，极大地降低了原始感光芯片的有效利用率。而摄影爱好者对像素分辨率有着极其挑剔的诉求，就生活场景而言，要求相机千万像素起步。为了达到纤毫毕现，甚至有人宁愿回归使用胶片相机。在如此反差强烈的性能要求与供给能力对比下，光场相机败走消费者市场就几成定局！

由于视角－空间折中关系的存在，低空间分辨率这一问题的解决并不容易。最直接的解决方法，就是增加感光芯片的像素数目。一方面，但像素数目的增加也意味着数据存储量的增加，使得数据的处理和计算更加麻烦。另一方面，像素数目的增加，要么是增加感光芯片的靶面积，要么是在感光芯片面积一定的条件下使得单个像素的面积变小，但两种方法都存在各自的问题和挑战。

对前者而言，感光芯片的尺寸，有着明确的行业标准，它与镜头的尺寸存在着适配关系，芯片的大小决定了对应镜头的尺寸大小，从而进一步决定了DOF、信噪比、动态范围等一系列性能。简单来说，越大的芯片意味着越沉重且昂贵的镜头，越浅的DOF, 越高的噪声水平还有越明显的渐晕效应……

如果不改变感光芯片的面积，而使单个像素的尺寸变小（工艺的进步毫无疑问可以达到），则又会面临另外一个窘境。即微透镜尺寸的衍射效应约束以及f#（f数，fnumber）匹配关系约束。当仅考虑衍射效应的时候，微透镜衍射光斑的尺寸为：

其中M是微透镜的放大系数，对微透镜可以认为其聚焦在无穷远，即M近似于0,fnumber = 微透镜焦距 除以微透镜口径, 这里不妨假定为4，即镜头常用的fnumber; 是光波的波长，不妨假设其为可见绿光532nm, 则衍射光斑直径 为5.1微米。这意味着，对微透镜而言，它的物理分辨极限为5.1微米，假设将进入微透镜的光看作成很多根光线，那么这些光线中最细的就是的这个尺度。换而言之，像素尺寸低于这个值，就会造成硬件浪费，在微透镜尺寸大小不变的条件下，让像素尺寸变小，并不会提高相机的角度分辨率！这也就意味着，也无法简单通过让微透镜尺寸变小，使得固定的CCD面积可以铺满更多的微透镜，因为更小的微透镜，对应着更大的衍射光斑。

而为了让感光芯片上的像素被充分利用，微透镜下各个方向入射光线形成的光斑尺寸需要正好等于微透镜本身的尺寸，因此微透镜的fnumber和主镜头的fnumber必须匹配。如果采取更小的微透镜尺寸，为了匹配主镜头的fnumber, 微透镜的焦距就需要更短，意味着微透镜本身的形状曲率更高，相应的成像像差更加严重。fnumber匹配让微透镜的硬件参数无形中又增加了一个枷锁。

图4 光场相机的fnumber 匹配示意图 （Ng, Ren, et al. Light field photography with a hand-held plenoptic camera. Diss. Stanford University, 2005.）

由于上述约束关系的存在，可以不妨做一个大胆的判断：如果保持现有成像系统结构不变，即使感光芯片的制造工艺取得长足进步，光场相机的空间分辨率也无法得到明显改善。光场相机能在To C端被消费者接纳存在前提条件，需要等到十亿到百亿级别的感光芯片诞生，相应的半导体计算、存储能力也得到巨大飞跃。就目前而言，一亿级别的芯片，已经是人类工业能力的极限。

一句话以概括： 光场相机的局限源于微透镜，微透镜的局限源于透镜光学衍射极限。微透镜即赋予了光场相机同时记录光线强度和角度的能力，但也限制了其空间分辨率的提高。

二、工业检测与医疗诊断，光场相机的两大潜在需求爆发点

在To B方面，对光场相机没有那么高的空间分辨率要求，光场相机可以被用作科研工具，例如显微成像[1]、流体测速[2]和波前探测[3]等等，但这一领域的市场需求并不旺盛，无法称得上令技术普及。因此，光场相机的大规模应用取决于工业界需求，在这一领域，其扮演的角色是类似结构光、双目视觉一样的深度传感器。而与这些技术相比，光场相机具有被动视觉、成像快速、解算迅捷以及宽视场大景深的优势。

表1深度传感器性能对照 （源https://www.sohu.com/a/477480432_121124378）

在工业需求中，当下潜在巨大需求的领域主要集中以下两个领域：工业检测与医疗诊断。

工业检测方面，可以分为内部探伤与外观检测。工业产品的外观尺寸，反映了其加工误差，不同加工环节的外观瑕疵则反映了工序的好坏，因此工业外观检测在产品的质量控制、成本控制上举足轻重，其重要性不言而喻。而工业外观检测种类繁多，工业产品琳琅满目。这两者充分说明了光场相机的潜在市场空间十分巨大。也因此，光场相机的第一步商业实用化，是在工业外观检测上被落地实用。比如手机屏幕模组的瑕疵三维检测、精密工业零件（MEMS, 燃气轮机叶片等等）的加工误差检测、芯片的金属线检测，等等。应用案例可以参见，国内奕目科技公司的Vomma光场相机主页。

在内部探伤领域，随着X-ray光场成像[4]的提出，光场成像可以利用其三维立体成像优势，发展成为一种新的快速无损内部探伤手段，这是只能进行外观深度探测的结构光和线激光所不具备的优势。

光场相机在医疗诊断也具备巨大的潜力，这里仅仅列举若干案例。

比如光场相机作为一种深度传感器，可以辅助手术机器人完成精准操作的微创手术。利用光场相机宽视场、大景深，深度信息解算迅速（100ms级别）, 光场相机可以快速定位医疗机械臂上的手术工具头的位置，同时光场相机也可以完成目标区域人体组织的定位，比如下图中，在光场相机的定位辅助下，手术机器人精准完成了伤口的缝合，光场相机甚至可以通过测量缝合线头的形貌，判别缝合质量。得益于光场相机的结构紧凑型，机械臂与相机的手眼标定（即相机坐标系和机械臂的运动坐标系转换）也更加便捷。

图5 基于光场相机的手术机械臂 （Shademan, Azad, et al. Plenoptic cameras in surgical robotics: Calibration, registration, and evaluation. 2016.）

再比如光场相机应用于内窥镜。由于光场相机基于被动视觉，无需辅助光源，基于光场相机的内窥镜，可以集成到一根探头上，而基于结构光的内窥镜则需要两个探头，即光源和成像系统，加剧了结构的复杂度和手术操作难度 （在可以只往身体内插一根管子的时候，也没病人希望插两根）。光场相机与内窥镜之间通过中继镜头使得fnumber得到匹配。光场相机同时返回人体组织的深度信息和二维影像。

图6 基于光场相机的硬式内窥镜 （Le, Hanh ND, et al. ;3-D endoscopic imaging using plenoptic camera.2016.）

图7 基于结构光的内窥镜（Lin, Jianyu. ;An endoscopic structured light system using multispectral detection.2015）

再比如光场相机应用于人眼部的医疗检测。例如虹膜的形态，除了反映人眼部健康之外，也是人其他部位生理信息的重要指标，如晚期糖尿病可引起虹膜新生血管形成，也称虹膜红肿，虹膜上出现细小血管。此外，治疗良性前列腺肥大（BPH）的药物也会改变虹膜肌张力，导致虹膜结构改变和眼部手术并发症。针对这一问题，目前的主要检测手段是OCT断层扫描，还有超声显微镜。但虹膜是一种动态组织，它的形状和配置可能会随着眼球运动而改变，OCT测着测着，没准病人就眨眼了。超声显微镜则需要给病人眼部麻醉，探头需要和眼球直接接触，操作也复杂。光场相机则可以避免这些问题，利用其快速成像的优势，检测只需要一瞬间。

图8 基于光场相机的虹膜检测 a）病变的眼睛 b）虹膜上的肿瘤凸起 （Chen, Hao, et al. Human iris three-dimensional imaging at micron resolution by a micro-plenoptic camera. 2017）

再比如光场相机应用于牙齿取模。牙科诊所，病人牙齿有缺损，需要用石膏对病人进行取模，患者咬住十分钟到半小时，石膏固化后寄送给人造牙的工厂，等个十天半个月后浇筑好的牙齿再寄送到牙医手上。但是光场成像，可以在瞬间完成牙齿三维形貌的测定。因此有希望完成快速取模，同时数据资料即时传输到人造齿生产厂家，利用3D打印造出牙齿的模具或者直接打印牙齿本身，从而极大地降低取模时间，并且显著缩短患者等待人造牙齿的时间周期。

图9 基于光场相机的牙齿3D测量 （https://raytrix.de/）

此外，光场相机在医疗美容也可以存在应用，作为一种深度相机，可以提供整形前后的立体的外观相对变化信息……

三、超透镜，光场相机的必由之路

如前文所述，光场相机的低空间分辨率源于微透镜导致的空间－视角信息折中，而微透镜又受限于光学衍射极限，使得即使感光芯片加工工艺提高，也无法把微透镜做得更小。这一问题难道无解？非也，超透镜（metalens）技术，毫无疑问是解开这个限制的关键技术 [5]。人类技术的进步，源于两大推动力，尺度和维度。超透镜就是一种在尺度上通过细微结构，调整波前的技术。透镜的作用，无非是调制波前，使得光线汇聚。从菲涅尔透镜上我们可以看到超透镜的逻辑，对于一个凸透镜，去除掉透镜中对波前调制没有贡献的部位，可以得到一个很薄的但功能等效的凸透镜。这种菲涅尔透镜中的每个细微结构，负责调制波前。由此及彼，假如一个平面上有很多的细微结构（尺度接近光波波长），每个细微结构都参与调制，就可以得到一个和凸透镜一样的波前调制器。这种超透镜的最大优势在于，不仅结构轻薄，消除了因为透镜厚度造成的复杂像差，更重要的是突破了衍射极限。

图10 菲涅尔透镜制造原理

图11 突破衍射极限的超透镜技术 （https://statnano.com/news/67892/A-New-Lens-on-The-World-Improving-the-Metalens-with-Liquid-Crystal）

可以大胆预测，在超透镜技术成熟后，光场相机的下一步道路必然是采用基于超透镜的主透镜与微透镜，在没有衍射效应的束缚下，微透镜可以越做越小，只要感光像素的尺寸可以继续变小，微透镜的尺寸就可以跟进变化。不仅可以有效提高光场相机的空间分辨率，视角分辨率也可以因为像素变小而提高。原本钳制光场相机的小基线问题，也必将得到进一步缓解， 成像像差也会得到改善。

简单总结来说，光场相机的普及，在摄影群体中具有很大的难度，受限于光场相机的空间－角度信息折中关系，这一情况不会因为感光芯片的制造工艺进步而有明显改善；而光场相机的独特优势，令其在工业上被广泛应用存在可能；同时，超镜头技术的出现以及迭代更新的感光芯片，使得光场相机的分辨率将会得到提高，从而克服现存的性能缺陷。

在当下的技术水平下，为了绕开折中设计这一性能陷阱，光场成像也有其他变种，比如掩码、鬼成像等等，可以下次继续探讨，这些光场相机变种与微透镜构型的光场相机在性能上的区别与优劣之分。

参考文献：

[1] Broxton, Michael, et al. Wave optics theory and 3-D deconvolution for the light field microscope. Optics express 21.21 (2013): 25418-25439.

[2] Mei, Di, et al. "High resolution volumetric dual-camera light-field PIV."Experiments in Fluids60.8 (2019): 1-21.

[3] Rodríguez-Ramos, Luis Fernando, et al. "Concepts, laboratory, and telescope test results of the plenoptic camera as a wavefront sensor."Adaptive Optics Systems III. Vol. 8447. International Society for Optics and Photonics, 2012.

[4] Viganò, Nicola. Emulation of X-ray Light-Field Cameras. Journal of Imaging 6.12 (2020): 138.

[5] Lin, Ren Jie, et al. "Achromatic metalens array for full-colour light-field imaging."Nature nanotechnology14.3 (2019): 227-231.

----与智者为伍 为创新赋能----

投稿丨合作丨咨询

联系邮箱：uestcwxd@126.com

QQ：493826566