【光电智造】为什么光场相机得不到普及?

今日光电 2023-05-15 18:00
今日光电
       有人说,20世纪是电的世纪,21世纪是光的世纪;知光解电,再小的个体都可以被赋能。欢迎来到今日光电!



----与智者为伍 为创新赋能----



为什么光场相机得不到普及?!



外界(特别是摄影消费者)对当下光场相机性能和前景的普遍看法,即这盛极一时的“神器”被负面看待为“鸡肋”,科技媒体界甚至曾在一段时间内普遍看衰光场相机的市场价值。


所谓普及,就是指这一设备的广泛应用,广泛的应用意味着旺盛且庞大的需求。而在需求层面,可以分为To C (个体消费者,如摄影爱好者)和To B(企业机构)两个方面。


本文在尝试回答这个问题之余,也逆向探讨这一个问题的反问,即光场相机究竟在什么样的条件下可以得到普及?限制其走向大众市场的“紧箍咒”究竟为何?后续技术进步的“大乘佛法真经” 能否去除这一桎梏?如果可以,光场相机又会在哪些领域发扬光大?


一、 空间-视角信息折中,光场相机的阿喀琉斯之踵


就To C端而言,最大的需求源于摄影摄像,而光场相机的市场遇冷,最主要的原因还是其本身硬件系统的空间-视角折中设计导致其空间分辨率过低。光场相机的原理是一个微透镜阵列被置于主透镜和CCD/CMOS感光芯片之间 (见图1), 以同时得到不同视角下的场景图片。每个微透镜下的一个像素,对应主透镜上的一小部分,从而代表了一个观察视角;每个微透镜本身则对应一个物方景象空间点。假定感光芯片像素总数为 , 则其等于视角信息数目 (每个微透镜下的像素数)与空间信息数目(微透镜总数)的乘积,

 

图1 光场相机硬件结构图 (Lynch, Kyle. Development of a 3-D fluid velocimetry technique based on light field imaging. Diss. 2011)

 

图2 光场相机实物结构图(Vomma官网)


在这一原理的限制下,一个原始像素数目为5638*7728 (4357万)像素的感光芯片,如果微透镜下像素数目为14*14, 则最终得到的单视角图片只有402*552(22万)像素。这什么水平呢?用手机摄像头的像素数目做类比,这种级别的分辨率,仅仅略优于世界上第一款安装摄像头的手机,于千禧年2000发布的夏普J-SH04,就图3这款爷爷辈的手机,摄像头像素11万。


图3 世界上首款带摄像头的相机-夏普J-SH04


这一原理性的硬件限制,极大地降低了原始感光芯片的有效利用率。而摄影爱好者对像素分辨率有着极其挑剔的诉求,就生活场景而言,要求相机千万像素起步。为了达到纤毫毕现,甚至有人宁愿回归使用胶片相机。在如此反差强烈的性能要求与供给能力对比下,光场相机败走消费者市场就几成定局!


由于视角-空间折中关系的存在,低空间分辨率这一问题的解决并不容易。最直接的解决方法,就是增加感光芯片的像素数目。一方面,但像素数目的增加也意味着数据存储量的增加,使得数据的处理和计算更加麻烦。另一方面,像素数目的增加,要么是增加感光芯片的靶面积,要么是在感光芯片面积一定的条件下使得单个像素的面积变小,但两种方法都存在各自的问题和挑战。


对前者而言,感光芯片的尺寸,有着明确的行业标准,它与镜头的尺寸存在着适配关系,芯片的大小决定了对应镜头的尺寸大小,从而进一步决定了DOF、信噪比、动态范围等一系列性能。简单来说,越大的芯片意味着越沉重且昂贵的镜头,越浅的DOF, 越高的噪声水平还有越明显的渐晕效应……


如果不改变感光芯片的面积,而使单个像素的尺寸变小(工艺的进步毫无疑问可以达到),则又会面临另外一个窘境。即微透镜尺寸的衍射效应约束以及f#(f数,fnumber)匹配关系约束。当仅考虑衍射效应的时候,微透镜衍射光斑的尺寸为:

其中M是微透镜的放大系数,对微透镜可以认为其聚焦在无穷远,即M近似于0,fnumber = 微透镜焦距 除以微透镜口径, 这里不妨假定为4,即镜头常用的fnumber; 是光波的波长,不妨假设其为可见绿光532nm, 则衍射光斑直径 为5.1微米。这意味着,对微透镜而言,它的物理分辨极限为5.1微米,假设将进入微透镜的光看作成很多根光线,那么这些光线中最细的就是的这个尺度。换而言之,像素尺寸低于这个值,就会造成硬件浪费,在微透镜尺寸大小不变的条件下,让像素尺寸变小,并不会提高相机的角度分辨率!这也就意味着,也无法简单通过让微透镜尺寸变小,使得固定的CCD面积可以铺满更多的微透镜,因为更小的微透镜,对应着更大的衍射光斑。


而为了让感光芯片上的像素被充分利用,微透镜下各个方向入射光线形成的光斑尺寸需要正好等于微透镜本身的尺寸,因此微透镜的fnumber和主镜头的fnumber必须匹配。如果采取更小的微透镜尺寸,为了匹配主镜头的fnumber, 微透镜的焦距就需要更短,意味着微透镜本身的形状曲率更高,相应的成像像差更加严重。fnumber匹配让微透镜的硬件参数无形中又增加了一个枷锁。

 

图4 光场相机的fnumber 匹配示意图 (Ng, Ren, et al. Light field photography with a hand-held plenoptic camera. Diss. Stanford University, 2005.)


由于上述约束关系的存在,可以不妨做一个大胆的判断:如果保持现有成像系统结构不变,即使感光芯片的制造工艺取得长足进步,光场相机的空间分辨率也无法得到明显改善。光场相机能在To C端被消费者接纳存在前提条件,需要等到十亿到百亿级别的感光芯片诞生,相应的半导体计算、存储能力也得到巨大飞跃。就目前而言,一亿级别的芯片,已经是人类工业能力的极限。


一句话以概括: 光场相机的局限源于微透镜,微透镜的局限源于透镜光学衍射极限。微透镜即赋予了光场相机同时记录光线强度和角度的能力,但也限制了其空间分辨率的提高。


二、工业检测与医疗诊断,光场相机的两大潜在需求爆发点


To B方面,对光场相机没有那么高的空间分辨率要求,光场相机可以被用作科研工具,例如显微成像[1]、流体测速[2]和波前探测[3]等等,但这一领域的市场需求并不旺盛,无法称得上令技术普及。因此,光场相机的大规模应用取决于工业界需求,在这一领域,其扮演的角色是类似结构光、双目视觉一样的深度传感器。而与这些技术相比,光场相机具有被动视觉、成像快速、解算迅捷以及宽视场大景深的优势。


表1深度传感器性能对照 (源https://www.sohu.com/a/477480432_121124378)


在工业需求中,当下潜在巨大需求的领域主要集中以下两个领域:工业检测与医疗诊断。


工业检测方面,可以分为内部探伤外观检测。工业产品的外观尺寸,反映了其加工误差,不同加工环节的外观瑕疵则反映了工序的好坏,因此工业外观检测在产品的质量控制、成本控制上举足轻重,其重要性不言而喻。而工业外观检测种类繁多,工业产品琳琅满目。这两者充分说明了光场相机的潜在市场空间十分巨大。也因此,光场相机的第一步商业实用化,是在工业外观检测上被落地实用。比如手机屏幕模组的瑕疵三维检测、精密工业零件(MEMS, 燃气轮机叶片等等)的加工误差检测、芯片的金属线检测,等等。应用案例可以参见,国内奕目科技公司的Vomma光场相机主页。


在内部探伤领域,随着X-ray光场成像[4]的提出,光场成像可以利用其三维立体成像优势,发展成为一种新的快速无损内部探伤手段,这是只能进行外观深度探测的结构光和线激光所不具备的优势。


光场相机在医疗诊断也具备巨大的潜力,这里仅仅列举若干案例。


比如光场相机作为一种深度传感器,可以辅助手术机器人完成精准操作的微创手术。利用光场相机宽视场、大景深,深度信息解算迅速(100ms级别), 光场相机可以快速定位医疗机械臂上的手术工具头的位置,同时光场相机也可以完成目标区域人体组织的定位,比如下图中,在光场相机的定位辅助下,手术机器人精准完成了伤口的缝合,光场相机甚至可以通过测量缝合线头的形貌,判别缝合质量。得益于光场相机的结构紧凑型,机械臂与相机的手眼标定(即相机坐标系和机械臂的运动坐标系转换)也更加便捷。

 

图5 基于光场相机的手术机械臂 (Shademan, Azad, et al. Plenoptic cameras in surgical robotics: Calibration, registration, and evaluation. 2016.)


再比如光场相机应用于内窥镜。由于光场相机基于被动视觉,无需辅助光源,基于光场相机的内窥镜,可以集成到一根探头上,而基于结构光的内窥镜则需要两个探头,即光源和成像系统,加剧了结构的复杂度和手术操作难度 (在可以只往身体内插一根管子的时候,也没病人希望插两根)。光场相机与内窥镜之间通过中继镜头使得fnumber得到匹配。光场相机同时返回人体组织的深度信息和二维影像。


图6 基于光场相机的硬式内窥镜 (Le, Hanh ND, et al. ;3-D endoscopic imaging using plenoptic camera.2016.)

  

图7 基于结构光的内窥镜(Lin, Jianyu. ;An endoscopic structured light system using multispectral detection.2015)


再比如光场相机应用于人眼部的医疗检测。例如虹膜的形态,除了反映人眼部健康之外,也是人其他部位生理信息的重要指标,如晚期糖尿病可引起虹膜新生血管形成,也称虹膜红肿,虹膜上出现细小血管。此外,治疗良性前列腺肥大(BPH)的药物也会改变虹膜肌张力,导致虹膜结构改变和眼部手术并发症。针对这一问题,目前的主要检测手段是OCT断层扫描,还有超声显微镜。但虹膜是一种动态组织,它的形状和配置可能会随着眼球运动而改变,OCT测着测着,没准病人就眨眼了。超声显微镜则需要给病人眼部麻醉,探头需要和眼球直接接触,操作也复杂。光场相机则可以避免这些问题,利用其快速成像的优势,检测只需要一瞬间。

图8 基于光场相机的虹膜检测 a)病变的眼睛 b)虹膜上的肿瘤凸起 (Chen, Hao, et al. Human iris three-dimensional imaging at micron resolution by a micro-plenoptic camera. 2017)


再比如光场相机应用于牙齿取模。牙科诊所,病人牙齿有缺损,需要用石膏对病人进行取模,患者咬住十分钟到半小时,石膏固化后寄送给人造牙的工厂,等个十天半个月后浇筑好的牙齿再寄送到牙医手上。但是光场成像,可以在瞬间完成牙齿三维形貌的测定。因此有希望完成快速取模,同时数据资料即时传输到人造齿生产厂家,利用3D打印造出牙齿的模具或者直接打印牙齿本身,从而极大地降低取模时间,并且显著缩短患者等待人造牙齿的时间周期。


图9 基于光场相机的牙齿3D测量 (https://raytrix.de/)


此外,光场相机在医疗美容也可以存在应用,作为一种深度相机,可以提供整形前后的立体的外观相对变化信息……


三、超透镜,光场相机的必由之路


如前文所述,光场相机的低空间分辨率源于微透镜导致的空间-视角信息折中,而微透镜又受限于光学衍射极限,使得即使感光芯片加工工艺提高,也无法把微透镜做得更小。这一问题难道无解?非也,超透镜(metalens)技术,毫无疑问是解开这个限制的关键技术 [5]。人类技术的进步,源于两大推动力,尺度和维度。超透镜就是一种在尺度上通过细微结构,调整波前的技术。透镜的作用,无非是调制波前,使得光线汇聚。从菲涅尔透镜上我们可以看到超透镜的逻辑,对于一个凸透镜,去除掉透镜中对波前调制没有贡献的部位,可以得到一个很薄的但功能等效的凸透镜。这种菲涅尔透镜中的每个细微结构,负责调制波前。由此及彼,假如一个平面上有很多的细微结构(尺度接近光波波长),每个细微结构都参与调制,就可以得到一个和凸透镜一样的波前调制器。这种超透镜的最大优势在于,不仅结构轻薄,消除了因为透镜厚度造成的复杂像差,更重要的是突破了衍射极限。


 

图10 菲涅尔透镜制造原理

图11 突破衍射极限的超透镜技术 (https://statnano.com/news/67892/A-New-Lens-on-The-World-Improving-the-Metalens-with-Liquid-Crystal)


可以大胆预测,在超透镜技术成熟后,光场相机的下一步道路必然是采用基于超透镜的主透镜与微透镜,在没有衍射效应的束缚下,微透镜可以越做越小,只要感光像素的尺寸可以继续变小,微透镜的尺寸就可以跟进变化。不仅可以有效提高光场相机的空间分辨率,视角分辨率也可以因为像素变小而提高。原本钳制光场相机的小基线问题,也必将得到进一步缓解, 成像像差也会得到改善。


简单总结来说,光场相机的普及,在摄影群体中具有很大的难度,受限于光场相机的空间-角度信息折中关系,这一情况不会因为感光芯片的制造工艺进步而有明显改善;而光场相机的独特优势,令其在工业上被广泛应用存在可能;同时,超镜头技术的出现以及迭代更新的感光芯片,使得光场相机的分辨率将会得到提高,从而克服现存的性能缺陷。


在当下的技术水平下,为了绕开折中设计这一性能陷阱,光场成像也有其他变种,比如掩码、鬼成像等等,可以下次继续探讨,这些光场相机变种与微透镜构型的光场相机在性能上的区别与优劣之分。



来源:机械视觉沙龙



申明:感谢原创作者的辛勤付出。本号转载的文章均会在文中注明,若遇到版权问题请联系我们处理。



 

----与智者为伍 为创新赋能----



【说明】欢迎企业和个人洽谈合作,投稿发文。欢迎联系我们
诚招运营合伙人 ,对新媒体感兴趣,对光电产业和行业感兴趣。非常有意者通过以下方式联我们!条件待遇面谈
投稿丨合作丨咨询

联系邮箱:uestcwxd@126.com

QQ:493826566



评论
  • 故障现象一辆2017款东风风神AX7车,搭载DFMA14T发动机,累计行驶里程约为13.7万km。该车冷起动后怠速运转正常,热机后怠速运转不稳,组合仪表上的发动机转速表指针上下轻微抖动。 故障诊断 用故障检测仪检测,发动机控制单元中无故障代码存储;读取发动机数据流,发现进气歧管绝对压力波动明显,有时能达到69 kPa,明显偏高,推断可能的原因有:进气系统漏气;进气歧管绝对压力传感器信号失真;发动机机械故障。首先从节气门处打烟雾,没有发现进气管周围有漏气的地方;接着拔下进气管上的两个真空
    虹科Pico汽车示波器 2025-01-08 16:51 103浏览
  • HDMI 2.2 规格将至,开启视听新境界2025年1月6日,HDMI Forum, Inc. 宣布即将发布HDMI规范2.2版本。新HDMI规范为规模庞大的 HDMI 生态系统带来更多选择,为创建、分发和体验理想的终端用户效果提供更先进的解决方案。新技术为电视、电影和游戏工作室等内容制作商在当前和未来提供更高质量的选择,同时实现多种分发平台。96Gbps的更高带宽和新一代 HDMI 固定比率速率传输(Fixed Rate Link)技术为各种设备应用提供更优质的音频和视频。终端用户显示器能以最
    百佳泰测试实验室 2025-01-09 17:33 19浏览
  • 在智能网联汽车中,各种通信技术如2G/3G/4G/5G、GNSS(全球导航卫星系统)、V2X(车联网通信)等在行业内被广泛使用。这些技术让汽车能够实现紧急呼叫、在线娱乐、导航等多种功能。EMC测试就是为了确保在复杂电磁环境下,汽车的通信系统仍然可以正常工作,保护驾乘者的安全。参考《QCT-基于LTE-V2X直连通信的车载信息交互系统技术要求及试验方法-1》标准10.5电磁兼容试验方法,下面将会从整车功能层面为大家解读V2X整车电磁兼容试验的过程。测试过程揭秘1. 设备准备为了进行电磁兼容试验,技
    北汇信息 2025-01-09 11:24 59浏览
  • 光伏逆变器是一种高效的能量转换设备,它能够将光伏太阳能板(PV)产生的不稳定的直流电压转换成与市电频率同步的交流电。这种转换后的电能不仅可以回馈至商用输电网络,还能供独立电网系统使用。光伏逆变器在商业光伏储能电站和家庭独立储能系统等应用领域中得到了广泛的应用。光耦合器,以其高速信号传输、出色的共模抑制比以及单向信号传输和光电隔离的特性,在光伏逆变器中扮演着至关重要的角色。它确保了系统的安全隔离、干扰的有效隔离以及通信信号的精准传输。光耦合器的使用不仅提高了系统的稳定性和安全性,而且由于其低功耗的
    晶台光耦 2025-01-09 09:58 36浏览
  • 在过去十年中,自动驾驶和高级驾驶辅助系统(AD/ADAS)软件与硬件的快速发展对多传感器数据采集的设计需求提出了更高的要求。然而,目前仍缺乏能够高质量集成多传感器数据采集的解决方案。康谋ADTF正是应运而生,它提供了一个广受认可和广泛引用的软件框架,包含模块化的标准化应用程序和工具,旨在为ADAS功能的开发提供一站式体验。一、ADTF的关键之处!无论是奥迪、大众、宝马还是梅赛德斯-奔驰:他们都依赖我们不断发展的ADTF来开发智能驾驶辅助解决方案,直至实现自动驾驶的目标。从新功能的最初构思到批量生
    康谋 2025-01-09 10:04 47浏览
  • 一个真正的质量工程师(QE)必须将一件产品设计的“意图”与系统的可制造性、可服务性以及资源在现实中实现设计和产品的能力结合起来。所以,可以说,这确实是一种工程学科。我们常开玩笑说,质量工程师是工程领域里的「侦探」、「警察」或「律师」,守护神是"墨菲”,信奉的哲学就是「墨菲定律」。(注:墨菲定律是一种启发性原则,常被表述为:任何可能出错的事情最终都会出错。)做质量工程师的,有时会不受欢迎,也会被忽视,甚至可能遭遇主动或被动的阻碍,而一旦出了问题,责任往往就落在质量工程师的头上。虽然质量工程师并不负
    优思学院 2025-01-09 11:48 70浏览
  • 在当前人工智能(AI)与物联网(IoT)的快速发展趋势下,各行各业的数字转型与自动化进程正以惊人的速度持续进行。如今企业在设计与营运技术系统时所面临的挑战不仅是技术本身,更包含硬件设施、第三方软件及配件等复杂的外部因素。然而这些系统往往讲究更精密的设计与高稳定性,哪怕是任何一个小小的问题,都可能对整体业务运作造成严重影响。 POS应用环境与客户需求以本次分享的客户个案为例,该客户是一家全球领先的信息技术服务与数字解决方案提供商,遭遇到一个由他们所开发的POS机(Point of Sal
    百佳泰测试实验室 2025-01-09 17:35 13浏览
  • 根据环洋市场咨询(Global Info Research)项目团队最新调研,预计2030年全球中空长航时无人机产值达到9009百万美元,2024-2030年期间年复合增长率CAGR为8.0%。 环洋市场咨询机构出版了的【全球中空长航时无人机行业总体规模、主要厂商及IPO上市调研报告,2025-2031】研究全球中空长航时无人机总体规模,包括产量、产值、消费量、主要生产地区、主要生产商及市场份额,同时分析中空长航时无人机市场主要驱动因素、阻碍因素、市场机遇、挑战、新产品发布等。报告从中空长航时
    GIRtina 2025-01-09 10:35 40浏览
  •  在全球能源结构加速向清洁、可再生方向转型的今天,风力发电作为一种绿色能源,已成为各国新能源发展的重要组成部分。然而,风力发电系统在复杂的环境中长时间运行,对系统的安全性、稳定性和抗干扰能力提出了极高要求。光耦(光电耦合器)作为一种电气隔离与信号传输器件,凭借其优秀的隔离保护性能和信号传输能力,已成为风力发电系统中不可或缺的关键组件。 风力发电系统对隔离与控制的需求风力发电系统中,包括发电机、变流器、变压器和控制系统等多个部分,通常工作在高压、大功率的环境中。光耦在这里扮演了
    晶台光耦 2025-01-08 16:03 83浏览
  • 职场是人生的重要战场,既是谋生之地,也是实现个人价值的平台。然而,有些思维方式却会悄无声息地拖住你的后腿,让你原地踏步甚至退步。今天,我们就来聊聊职场中最忌讳的五种思维方式,看看自己有没有中招。1. 固步自封的思维在职场中,最可怕的事情莫过于自满于现状,拒绝学习和改变。世界在不断变化,行业的趋势、技术的革新都在要求我们与时俱进。如果你总觉得自己的方法最优,或者害怕尝试新事物,那就很容易被淘汰。与其等待机会找上门,不如主动出击,保持学习和探索的心态。加入优思学院,可以帮助你快速提升自己,与行业前沿
    优思学院 2025-01-09 15:48 12浏览
  • 1月7日-10日,2025年国际消费电子产品展览会(CES 2025)盛大举行,广和通发布Fibocom AI Stack,赋智千行百业端侧应用。Fibocom AI Stack提供集高性能模组、AI工具链、高性能推理引擎、海量模型、支持与服务一体化的端侧AI解决方案,帮助智能设备快速实现AI能力商用。为适应不同端侧场景的应用,AI Stack具备海量端侧AI模型及行业端侧模型,基于不同等级算力的芯片平台或模组,Fibocom AI Stack可将TensorFlow、PyTorch、ONNX、
    物吾悟小通 2025-01-08 18:17 47浏览
我要评论
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦