全息显示|斯坦福计算成像实验室开发出无散斑全息显示器

原创 CINNOResearch 2021-11-24 16:15




众所周知,虚拟(VR)和增强现实(AR)设备本质上是希望将用户直接“放置”在另一个环境、世界和体验中。这些技术所承诺的身临其境式体验非常受消费者的欢迎,不过该领域还有一种特殊的技术——全息显示器,它可以带来更接近现实生活的沉浸式体验。

 

根据外媒Science Daily报道,为了设计开发出这种沉浸式效果更好的显示器,斯坦福计算成像实验室结合了他们在光学和人工智能方面的专业知识。他们在该领域的最新进展,以论文的形式在11月12日的《科学进展》期刊上作了详细介绍,另外该研究成果也会发表于12月的SIGGRAPH ASIA 2021上。


图1. 全息显示设备原型,图片来源:斯坦福计算成像实验室


这项研究的背景是这样一个事实,即当前的增强现实和虚拟现实显示器只能传递给每个观众以一幅2D图像,而不是我们在现实世界中看到的3D或全息图像。

 

“它们在感知上并不现实,”电气工程副教授兼斯坦福计算成像实验室负责人戈登·韦茨斯坦 (Gordon Wetzstein)解释说。韦茨斯坦和他的同事们正在努力开发一种新的解决方案,这种方案一方面可以弥合上述模拟与现实画面之间的差距,另一方面还可以让画面显示更具视觉吸引力。

 

发表在《科学进展》期刊上的研究论文,详细介绍了一种减少激光全息显示器常见散斑问题的技术。而发表在SIGGRAPH Asia上的论文提出了一种新的技术,它可以更真实地表示3D场景画面。

 

桥接模拟画面与现实场景

 

几十年来,现有全息显示器的图像质量一直不佳,受到很多固有问题的限制。正如韦茨斯坦教授所解释的那样,研究人员一直面临着如何将全息显示器的显示质量提高到LCD显示器水准的问题。

 

其中一个困难问题是,研究人员在设计上很难以全息图的分辨率控制光波的形状。另外一个阻碍高图像质量全息显示器设计的问题是,如何让模拟环境中发生的场景和真实环境中的相同场景看起来完全一样,没有差别。

 

此前,无数科学家们都曾尝试通过不同的算法构建来解决上述两个重要问题。韦茨斯坦教授和他同事们的基本方案还是从算法开发出发,不过,不一样的是他们使用了一种称作神经网络的算法,这是一种试图模仿人类大脑学习信息方式的人工智能形式,他们称之为“神经全息技术”。

 

“人工智能已经彻底改变了工程及其他领域的几乎所有方面,”韦茨斯坦说,“但在全息显示或计算机生成全息(Computer-generated Holography)这一特定领域,人们才刚刚开始探索使用这种人工智能技术来帮助优化设计。”

 

斯坦福计算成像实验室的博士后研究员Yifan Peng正在利用他在光学和计算机科学方面的跨学科背景来帮助设计全息显示用光学引擎。

 

“直到最近,随着机器智能创新的出现,我们现在能够使用强大的工具和能力来利用计算机技术的进步助力我们的研究,”该论文的共同作者Yifan Peng说道。

 

这些研究人员开发的神经全息显示器,通过对神经网络的训练在全息显示器中模拟真实世界发生的物理现象,进而获得实时的全息3D图像。然后,他们将其与环形校准(Loop Calibration Strategy)相机相结合,这种环形校准策略可以提供实时反馈和相应的调整改善。通过创建与所见图像实时运行的算法和校准技术,研究人员最终创建出具有更好色彩重现能力、对比度、清晰度的逼真视觉效果。

 

发表于SIGGRAPH Asia的这篇论文,重点介绍了斯坦福计算成像实验室首次将其神经全息系统应用于3D场景显示的过程。该系统以非常高的画面质量和逼真程度显示了包含丰富深度信息的场景画面,这些场景画面的显示体现了预定的失焦效果。


 

《科学进展》期刊上的研究论文中,研究人员所呈现工作同样使用了环形校准策略,结合了一种受人工智能启发的算法,最终开发出一种使用部分相干光源(LED和SLED)的改善版全息显示系统。这些光源的成本非常低、外形尺寸紧凑且能耗低,这些都是研究人员对此产生兴趣的原因。另外,相对于传统基于相干光源(如激光)的传统全息显示系统,这种新的系统还能够让显示画面免于散斑问题。

 

不过,这种方案同时也会伴随带来一些问题,比如光源的非相干特性会让所显示图像变得模糊,对比度降低。针对这一问题,研究人员提出了一种针对非相干光源物理特性的算法,并利用这种算法,基于普通LED和SLED制作出第一张高质量且无散斑的全息2D和3D图像。

 

变革行业的潜力

 

韦茨斯坦教授和Peng博士都认为,未来几年,新兴人工智能技术和虚拟现实、增强现实的结合将会在许多行业中变得越来越普遍。

 

韦茨斯坦教授说,“总的来说,我非常相信可穿戴计算系统以及虚拟现实和增强现实显示的未来。我认为这些技术会对人们的生活产生变革性的影响”。他认为,这一点也许不会出现在未来的几年,但肯定是未来的“大趋势”。

 

虽然增强现实和虚拟现实技术现在主要用于游戏等应用,但潜在应用还包括医学等领域。实际上,医学生现在可以使用增强现实技术进行培训,也可以将来自CT扫描和MRI的医学数据直接叠加到患者身上。

 

“每年,这些类型的技术已经用于数千次手术,”韦茨斯坦教授说,“我们认为更小、更轻、视觉更舒适的头戴式显示器将是未来手术项目的重要组成部分。”

 

“看到研究人员使用这种新的计算成像方法,在相同的硬件条件下提高全息显示质量是非常令人兴奋的,”英伟达的访问学者,同时也是上面两篇论文的合作者Jonghyun Kim说道,“这种新的计算成像方法可以产生更好的显示效果,在未来可以改变显示行业的游戏规则。”


- END -

推荐阅读

点击图片即可阅读全文

更多商务合作,欢迎与小编联络!

扫码请备注:姓名+公司+职位


我是CINNO最强小编, 恭候您多时啦!

CINNO于2012年底创立于上海,是致力于推动国内电子信息与科技产业发展的国内独立第三方专业产业咨询服务平台。公司创办九年来,始终围绕泛半导体产业链,在多维度为企业、政府、投资者提供权威而专业的咨询服务,包括但不限于产业资讯、市场咨询、尽职调查、项目可研、管理咨询、投融资等方面,覆盖企业成长周期各阶段核心利益诉求点,在显示、半导体、消费电子、智能制造及关键零组件等细分领域,积累了数百家大陆、台湾、日本、韩国、欧美等高科技核心优质企业客户。

CINNOResearch CINNO Research为显示及半导体行业专业第三方咨询服务机构,为您深入全球光电产业链上下游,提供最新产业资讯、专业行研报告、投资并购、精准行销、高端猎头等一站式服务。一键订阅,同100万产业精英一起把握行业脉动!
评论
  • 现在为止,我们已经完成了Purple Pi OH主板的串口调试和部分配件的连接,接下来,让我们趁热打铁,完成剩余配件的连接!注:配件连接前请断开主板所有供电,避免敏感电路损坏!1.1 耳机接口主板有一路OTMP 标准四节耳机座J6,具备进行音频输出及录音功能,接入耳机后声音将优先从耳机输出,如下图所示:1.21.2 相机接口MIPI CSI 接口如上图所示,支持OV5648 和OV8858 摄像头模组。接入摄像头模组后,使用系统相机软件打开相机拍照和录像,如下图所示:1.3 以太网接口主板有一路
    Industio_触觉智能 2025-01-20 11:04 187浏览
  •  万万没想到!科幻电影中的人形机器人,正在一步步走进我们人类的日常生活中来了。1月17日,乐聚将第100台全尺寸人形机器人交付北汽越野车,再次吹响了人形机器人疯狂进厂打工的号角。无独有尔,银河通用机器人作为一家成立不到两年时间的创业公司,在短短一年多时间内推出革命性的第一代产品Galbot G1,这是一款轮式、双臂、身体可折叠的人形机器人,得到了美团战投、经纬创投、IDG资本等众多投资方的认可。作为一家成立仅仅只有两年多时间的企业,智元机器人也把机器人从梦想带进了现实。2024年8月1
    刘旷 2025-01-21 11:15 619浏览
  • 2024年是很平淡的一年,能保住饭碗就是万幸了,公司业绩不好,跳槽又不敢跳,还有一个原因就是老板对我们这些员工还是很好的,碍于人情也不能在公司困难时去雪上加霜。在工作其间遇到的大问题没有,小问题还是有不少,这里就举一两个来说一下。第一个就是,先看下下面的这个封装,你能猜出它的引脚间距是多少吗?这种排线座比较常规的是0.6mm间距(即排线是0.3mm间距)的,而这个规格也是我们用得最多的,所以我们按惯性思维来看的话,就会认为这个座子就是0.6mm间距的,这样往往就不会去细看规格书了,所以这次的运气
    wuliangu 2025-01-21 00:15 297浏览
  • 高速先生成员--黄刚这不马上就要过年了嘛,高速先生就不打算给大家上难度了,整一篇简单但很实用的文章给大伙瞧瞧好了。相信这个标题一出来,尤其对于PCB设计工程师来说,心就立马凉了半截。他们辛辛苦苦进行PCB的过孔设计,高速先生居然说设计多大的过孔他们不关心!另外估计这时候就跳出很多“挑刺”的粉丝了哈,因为翻看很多以往的文章,高速先生都表达了过孔孔径对高速性能的影响是很大的哦!咋滴,今天居然说孔径不关心了?别,别急哈,听高速先生在这篇文章中娓娓道来。首先还是要对各位设计工程师的设计表示肯定,毕竟像我
    一博科技 2025-01-21 16:17 145浏览
  • 故障现象 一辆2007款日产天籁车,搭载VQ23发动机(气缸编号如图1所示,点火顺序为1-2-3-4-5-6),累计行驶里程约为21万km。车主反映,该车起步加速时偶尔抖动,且行驶中加速无力。 图1 VQ23发动机的气缸编号 故障诊断接车后试车,发动机怠速运转平稳,但只要换挡起步,稍微踩下一点加速踏板,就能感觉到车身明显抖动。用故障检测仪检测,发动机控制模块(ECM)无故障代码存储,且无失火数据流。用虹科Pico汽车示波器测量气缸1点火信号(COP点火信号)和曲轴位置传感器信
    虹科Pico汽车示波器 2025-01-23 10:46 60浏览
  •     IPC-2581是基于ODB++标准、结合PCB行业特点而指定的PCB加工文件规范。    IPC-2581旨在替代CAM350格式,成为PCB加工行业的新的工业规范。    有一些免费软件,可以查看(不可修改)IPC-2581数据文件。这些软件典型用途是工艺校核。    1. Vu2581        出品:Downstream     
    电子知识打边炉 2025-01-22 11:12 117浏览
  • 临近春节,各方社交及应酬也变得多起来了,甚至一月份就排满了各式约见。有的是关系好的专业朋友的周末“恳谈会”,基本是关于2025年经济预判的话题,以及如何稳定工作等话题;但更多的预约是来自几个客户老板及副总裁们的见面,他们为今年的经济预判与企业发展焦虑而来。在聊天过程中,我发现今年的聊天有个很有意思的“点”,挺多人尤其关心我到底是怎么成长成现在的多领域风格的,还能掌握一些经济趋势的分析能力,到底学过哪些专业、在企业管过哪些具体事情?单单就这个一个月内,我就重复了数次“为什么”,再辅以我上次写的:《
    牛言喵语 2025-01-22 17:10 159浏览
  • Ubuntu20.04默认情况下为root账号自动登录,本文介绍如何取消root账号自动登录,改为通过输入账号密码登录,使用触觉智能EVB3568鸿蒙开发板演示,搭载瑞芯微RK3568,四核A55处理器,主频2.0Ghz,1T算力NPU;支持OpenHarmony5.0及Linux、Android等操作系统,接口丰富,开发评估快人一步!添加新账号1、使用adduser命令来添加新用户,用户名以industio为例,系统会提示设置密码以及其他信息,您可以根据需要填写或跳过,命令如下:root@id
    Industio_触觉智能 2025-01-17 14:14 140浏览
  • 嘿,咱来聊聊RISC-V MCU技术哈。 这RISC-V MCU技术呢,简单来说就是基于一个叫RISC-V的指令集架构做出的微控制器技术。RISC-V这个啊,2010年的时候,是加州大学伯克利分校的研究团队弄出来的,目的就是想搞个新的、开放的指令集架构,能跟上现代计算的需要。到了2015年,专门成立了个RISC-V基金会,让这个架构更标准,也更好地推广开了。这几年啊,这个RISC-V的生态系统发展得可快了,好多公司和机构都加入了RISC-V International,还推出了不少RISC-V
    丙丁先生 2025-01-21 12:10 433浏览
  • 数字隔离芯片是一种实现电气隔离功能的集成电路,在工业自动化、汽车电子、光伏储能与电力通信等领域的电气系统中发挥着至关重要的作用。其不仅可令高、低压系统之间相互独立,提高低压系统的抗干扰能力,同时还可确保高、低压系统之间的安全交互,使系统稳定工作,并避免操作者遭受来自高压系统的电击伤害。典型数字隔离芯片的简化原理图值得一提的是,数字隔离芯片历经多年发展,其应用范围已十分广泛,凡涉及到在高、低压系统之间进行信号传输的场景中基本都需要应用到此种芯片。那么,电气工程师在进行电路设计时到底该如何评估选择一
    华普微HOPERF 2025-01-20 16:50 116浏览
我要评论
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦