计算光学成像:突破传统光学成像极限

MEMS 2023-01-21 00:00

概要

计算光学成像是一个新兴多学科交叉领域。它以具体应用任务为准则,通过多维度获取或编码光场信息(如角度、偏振、相位等),为传感器设计远超人眼的感知新范式;同时,结合数学和信号处理知识,深度挖掘光场信息,突破传统光学成像极限。目前,计算光学成像处于高速发展阶段,已取得许多令人振奋的研究成果,并在手机摄像、医疗、无人驾驶等领域开始规模化应用。未来,计算光学成像有望进一步颠覆传统成像体系,带来更具创造力和想象力的应用,如无透镜成像、非视域成像等。

趋势解读

传统光学成像建立在几何光学基础上,借鉴人眼视觉“所见即所得”的原理,而忽略了诸多光学高维信息。当前传统光学成像在硬件功能、成像性能方面接近物理极限,在众多领域已无法满足应用需求。例如 ,在手机摄影领域,无法在保证成像效果的同时缩小器件重量和体积,出现令人诟病的“前刘海”和“后浴霸”的情况;在显微成像领域,无法同时满足宽视场和高分辨率的需求;在监控遥感领域,难以在光线较暗、能见度较低的复杂环境中获得清晰图像。

随着传感器、云计算、人工智能等新一代信息技术的不断演进,新型解决方案逐步浮出水面——计算光学成像。计算光学成像以具体应用任务为准则,通过多维度获取或编码光场信息(如角度、偏振、相位等),为传感器设计远超人眼的感知新范式;同时,结合数学和信号处理知识,深度挖掘光场信息,突破传统光学成像极限(如图1所示)。


图1 传统光学成像(左)和计算光学成像(右)

计算光学成像是一个新兴多学科交叉领域,早期概念在上个世纪70年代中期才逐步形成。随着信息技术的蓬勃发展,计算光学成像已成为国际研究热点。由于计算光学成像研究内容覆盖范围广,目前还没有一个比较明确的分类方法。按照计算成像技术所解决的应用问题来分类,可以大致分为以下三类:(1)功能提升:对传统方式无法获取的光学信息,如光场、偏振、相干度等进行成像或测量;(2)性能提升:即提升现有成像技术的性能指标,如空间分辨率、时间分辨率、景深、复杂环境鲁棒性等;(3)简化与智能化:通过单像素、无透镜等特定技术简化成像系统,或者以光速实现特定人工智能任务(如图2所示)。


图2 计算光学成像技术分类

计算光学成像技术现处于高速发展阶段,还需克服诸多挑战:首先,需以传感器为中心重新设计光学系统;其次,由于需要获取多维度光学信息,需引入新型光学器件和光场调控机制,随之而来的是更多的硬件成本和研发/调试时间成本;再次,为了使计算成像硬件和软件有更好的协同,则需重新开发算法工具;最后,对算力要求非常高,对应用设备芯片及其适配性提出更高要求。

计算光学成像虽然是一个新兴技术,但已取得了很多令人振奋的研究成果(2014诺贝尔奖——超分辨荧光显微成像、2017年诺贝尔奖——冷冻电镜),并在手机摄像、医疗、监控、工业检测、无人驾驶等领域开始规模化应用。如在手机摄像领域,主流手机厂商均初步融入了计算光学成像思路,从比拼硬件光学,转而追求硬件加算法的协同;目前手机摄像在相当一部分场景的拍摄效果达到、甚至超过一般单反相机。

未来,计算光学成像将进一步颠覆传统成像体系,带来更具创造力和想象力的应用。元成像芯片可实现大范围无像差三维感知,有望彻底解决手机后置摄像头突出的问题。无透镜成像(FlatCam)能够简化传统基于透镜的相机成像系统,进一步减小成像系统体积并有望用于各类可穿戴设备。此外,利用偏振成像技术能够透过可见度不高的介质清晰成像,实现穿云透雾。还有非视域成像,能够通过记录并解析光传播的高速过程来对非视域下目标进行有效探测,实现隔墙而视,在反恐侦察、医疗检测等领域具有广泛的应用价值。

专家点评

在过去的十多年来,信息技术的高速发展为光学成像注入了新的生命,计算成像应运而生,悄无声息中颠覆了人类与机器感知世界的方式。从“所见即所得”的一一映射到对高维光场的耦合编码与计算重构,计算成像将光作为信息载体的一部分,模糊了物理世界与数字世界的边界,从而突破了物理约束,见所未见。从此,我们能够捕捉光传播的轨迹,看到千里之外的声音,解析生命活动的奥秘,穿云透雾,洞察秋毫。从毫厘微末间的细胞病毒,到广袤宇宙中的第一缕光,计算成像将不断开拓人类的认知边界;从无人系统手机摄影,到工业监测安防监控,计算成像将融入人们生活的方方面面,推动数字经济高速发展。

(摘自:达摩院2023十大科技趋势)

延伸阅读:
《光学和射频应用的超构材料-2022版》
《光学和射频领域的超构材料和超构表面-2022版》
《AR/VR/MR光学元件技术及市场-2022版》

MEMS 中国首家MEMS咨询服务平台——麦姆斯咨询(MEMS Consulting)
评论
  • 时源芯微——RE超标整机定位与解决详细流程一、 初步测量与问题确认使用专业的电磁辐射测量设备,对整机的辐射发射进行精确测量。确认是否存在RE超标问题,并记录超标频段和幅度。二、电缆检查与处理若存在信号电缆:步骤一:拔掉所有信号电缆,仅保留电源线,再次测量整机的辐射发射。若测量合格:判定问题出在信号电缆上,可能是电缆的共模电流导致。逐一连接信号电缆,每次连接后测量,定位具体哪根电缆或接口导致超标。对问题电缆进行处理,如加共模扼流圈、滤波器,或优化电缆布局和屏蔽。重新连接所有电缆,再次测量
    时源芯微 2024-12-11 17:11 74浏览
  • 智能汽车可替换LED前照灯控制运行的原理涉及多个方面,包括自适应前照灯系统(AFS)的工作原理、传感器的应用、步进电机的控制以及模糊控制策略等。当下时代的智能汽车灯光控制系统通过车载网关控制单元集中控制,表现特殊点的有特斯拉,仅通过前车身控制器,整个系统就包括了灯光旋转开关、车灯变光开关、左LED前照灯总成、右LED前照灯总成、转向柱电子控制单元、CAN数据总线接口、组合仪表控制单元、车载网关控制单元等器件。变光开关、转向开关和辅助操作系统一般连为一体,开关之间通过内部线束和转向柱装置连接为多,
    lauguo2013 2024-12-10 15:53 81浏览
  • 【萤火工场CEM5826-M11测评】OLED显示雷达数据本文结合之前关于串口打印雷达监测数据的研究,进一步扩展至 OLED 屏幕显示。该项目整体分为两部分: 一、框架显示; 二、数据采集与填充显示。为了减小 MCU 负担,采用 局部刷新 的方案。1. 显示框架所需库函数 Wire.h 、Adafruit_GFX.h 、Adafruit_SSD1306.h . 代码#include #include #include #include "logo_128x64.h"#include "logo_
    无垠的广袤 2024-12-10 14:03 69浏览
  • 天问Block和Mixly是两个不同的编程工具,分别在单片机开发和教育编程领域有各自的应用。以下是对它们的详细比较: 基本定义 天问Block:天问Block是一个基于区块链技术的数字身份验证和数据交换平台。它的目标是为用户提供一个安全、去中心化、可信任的数字身份验证和数据交换解决方案。 Mixly:Mixly是一款由北京师范大学教育学部创客教育实验室开发的图形化编程软件,旨在为初学者提供一个易于学习和使用的Arduino编程环境。 主要功能 天问Block:支持STC全系列8位单片机,32位
    丙丁先生 2024-12-11 13:15 49浏览
  • 全球知名半导体制造商ROHM Co., Ltd.(以下简称“罗姆”)宣布与Taiwan Semiconductor Manufacturing Company Limited(以下简称“台积公司”)就车载氮化镓功率器件的开发和量产事宜建立战略合作伙伴关系。通过该合作关系,双方将致力于将罗姆的氮化镓器件开发技术与台积公司业界先进的GaN-on-Silicon工艺技术优势结合起来,满足市场对高耐压和高频特性优异的功率元器件日益增长的需求。氮化镓功率器件目前主要被用于AC适配器和服务器电源等消费电子和
    电子资讯报 2024-12-10 17:09 87浏览
  • RK3506 是瑞芯微推出的MPU产品,芯片制程为22nm,定位于轻量级、低成本解决方案。该MPU具有低功耗、外设接口丰富、实时性高的特点,适合用多种工商业场景。本文将基于RK3506的设计特点,为大家分析其应用场景。RK3506核心板主要分为三个型号,各型号间的区别如下图:​图 1  RK3506核心板处理器型号场景1:显示HMIRK3506核心板显示接口支持RGB、MIPI、QSPI输出,且支持2D图形加速,轻松运行QT、LVGL等GUI,最快3S内开
    万象奥科 2024-12-11 15:42 68浏览
  • 近日,搭载紫光展锐W517芯片平台的INMO GO2由影目科技正式推出。作为全球首款专为商务场景设计的智能翻译眼镜,INMO GO2 以“快、准、稳”三大核心优势,突破传统翻译产品局限,为全球商务人士带来高效、自然、稳定的跨语言交流体验。 INMO GO2内置的W517芯片,是紫光展锐4G旗舰级智能穿戴平台,采用四核处理器,具有高性能、低功耗的优势,内置超微高集成技术,采用先进工艺,计算能力相比同档位竞品提升4倍,强大的性能提供更加多样化的应用场景。【视频见P盘链接】 依托“
    紫光展锐 2024-12-11 11:50 47浏览
  • 习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习笔记&记录学习习笔记&记学习学习笔记&记录学习学习笔记&记录学习习笔记&记录学习学习笔记&记录学习学习笔记记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记
    youyeye 2024-12-10 16:13 105浏览
  • 我的一台很多年前人家不要了的九十年代SONY台式组合音响,接手时只有CD功能不行了,因为不需要,也就没修,只使用收音机、磁带机和外接信号功能就够了。最近五年在外地,就断电闲置,没使用了。今年9月回到家里,就一个劲儿地忙着收拾家当,忙了一个多月,太多事啦!修了电气,清理了闲置不用了的电器和电子,就是一个劲儿地扔扔扔!几十年的“工匠式”收留收藏,只能断舍离,拆解不过来的了。一天,忽然感觉室内有股臭味,用鼻子的嗅觉功能朝着臭味重的方向寻找,觉得应该就是这台组合音响?怎么会呢?这无机物的东西不会腐臭吧?
    自做自受 2024-12-10 16:34 138浏览
  • 一、SAE J1939协议概述SAE J1939协议是由美国汽车工程师协会(SAE,Society of Automotive Engineers)定义的一种用于重型车辆和工业设备中的通信协议,主要应用于车辆和设备之间的实时数据交换。J1939基于CAN(Controller Area Network)总线技术,使用29bit的扩展标识符和扩展数据帧,CAN通信速率为250Kbps,用于车载电子控制单元(ECU)之间的通信和控制。小北同学在之前也对J1939协议做过扫盲科普【科普系列】SAE J
    北汇信息 2024-12-11 15:45 77浏览
我要评论
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦