广告

玩VR不头晕要用低余晖技术,不过它有这些缺陷……

2016-07-04 15:08:00 布格虚拟现实 阅读:
换个词来说余晖效应就是视觉暂留现象,是指人眼在观察事物时,光信号传入大脑神经需要一段短暂的时间,光信号消失后,视觉形象并没有立刻消失。举一个简单的例子,中国古代的走马灯就是利用了这种现象……
广告

编按:本文由布格虚拟现实(bugetech)作者在Michael Abrash的三篇关于余晖(persistence)博文的基础上创作而成。

作为一名VR从业人员,常有VR圈之外的朋友和笔者吐槽说:为什么国产的VR眼镜,看看静止的内容还可以,一旦动起来,人就各种晕眩。而国外品牌的产品如Gear VR没有出现这样的情况,这是为什么呢?

对于这个问题,笔者可以写出很多原因,但是主要有一点,就是先让大家认识一个误区:__VR技术不是简单的两个显示屏+盒子__。同样的VR眼镜,不少厂商只是开发了一个盒子,并没有针对插入其中的手机进行软硬件的优化,自然很容易造成体验不佳,也就是科学上所称之的晕动症。而晕动症历来就被称为VR发展的最大绊脚石。

嗯,关子卖完了,那今天就让我们讨论下关于如何解决晕动症的问题。

先献上VR大牛对于这个问题的思考:

Michael Abrash是首屈一指的图形程序员,他于2014年加入Oculus公司担任首席科学家,致力于头戴式可视设备(Head Mount Display简称HMD)研究。提到VR大家就必不可少的会想到晕动症(Motion Sickness)一词。可以说这个问题是VR发展中最大的一块绊脚石,具体来说HMD有许多伪影现象(artifacts),例如:色彩边缘(color fringing)、抖动(judder也称视角震颤)、频闪(strobing)、拖影(smearing)等伪影问题会带来眼脑协调不适,从而引发晕动症。所以说虚拟现实技术不是简单的把两块显示器放在眼前然后放映图片那么简单。这篇文章是在Michael Abrash的三篇关于余晖(persistence)博文的基础上创作的,__深入探讨低余晖如何降低晕眩感和低余晖技术所带来的其他负面问题__。

首先什么是余晖效应呢?

换个词来说余__晖效应就是视觉暂留现象,是指人眼在观察事物时,光信号传入大脑神经需要一段短暂的时间,光信号消失后,视觉形象并没有立刻消失。__这种残留的视觉影像成为“后像”。举一个简单的例子,中国古代的走马灯就是利用了这种现象。我们生活中也有余晖效应,比如观察一个白炽灯,当我们猛的转头后,白炽灯的灯光依然会映在我们眼前。

那么余晖与显示器有什么关系呢?

我们称显示器上的像素点被点亮的时间为余晖时间(persistence time)。我们现在用的液晶显示器就是全余晖显示器,因为像素点在每一帧都被点亮。那为什么在HMD中我们要选择低余晖呢?这个问题我们就要从人眼和显示器上的虚拟图像间的相对运动说起了。
色像差(color fringing)也称为彩色边纹或者色散现象。在解释低余晖之前,我们先来看一个简单的问题:色像差。这是一个很好修复的问题,也可以很好地帮助我们了解人眼和显示器上的虚拟图像间的相对运动。
下图是一个很好的例子,我们可以清楚地看到图片有红绿蓝三种基色边缘,图片质量大幅下降。那么什么情况下这种问题会发生呢?
5779c63169274
我们可以认为来自显示器的光子是一个三维信号,我们把这个三维信号量化为一个表达式:pixel_color = f(display_x, display_y, time)。这个表达式表示显示器上的光子的位置和它的余晖时间。

我们将用时间——空间图来帮助大家了解HMD头戴显示器与真实世界有什么不同(在这里我们忽略垂直分量y)。

真实世界中的物体:
5779c63336f2b
LCOS色序显示器上的虚拟物品:(色序显示器经常被用来当做HMD的显示器)

5779c63510c9d

5779c7753127a
如果你看不懂以上的解释也没有关系,__简单来讲,由于色序显示器三种色彩分量不能被同时点亮,那么当人眼相对于显示器上的虚拟物品移动时,我们就会看到色散现象__。这种现象是一个很好解决的问题,因为只要确保色彩分量同时点亮就可以了,所以我们选择更换显示器,Oculus使用的就是OLED有机电激光显示器。

我们之所以把色散问题放在开头解释,是为了让大家更好地了解人眼和显示器的虚拟物品间的相对运动。这种相对运动还会带来抖动(视角震颤)、频闪、拖尾等伪影问题(频闪和拖尾的混合现象我们称为抖动)。

__首先什么是拖尾呢?__根据维基百科的解释,拖尾是在vr中对于动感模糊的视觉感知,它降低了图像锐度和细节。拖尾发生是因为像素点在被点亮时间内在视网膜上滑动了一段距离,点亮时间越长,滑动的距离就越长。换言之,当人眼与像素点有相对运动时,余晖时间越长,拖尾现象越明显。

__其次什么是频闪呢?__根据维基百科定义,频闪是指在VR中同一时间视觉感知到多张虚拟图像副本。当人眼观察虚拟图片位置从一帧到下一帧的位置超过5-10角分时,我们会感觉图像明显跳动,这种跳动就是频闪。注意频闪不是闪烁(flicker),闪烁是一种一亮一灭的现象,频闪是同一时间看到多张相同的图像。我们不会详细介绍闪烁,因为闪烁不涉及视觉暂留。

而这两种现象的组合,我们称之为抖动。在HMD上,拖尾现象严重就会掩盖住频闪现象。下图是一张渲染的游戏场景,和这个场景拖尾2度的对比图。(把手伸直,竖起大拇指,大拇指的宽度大概就是2度。)
5779c638d1606
如果你还是对频闪和拖影的产生抱有疑问,那我们还是来看看时间——空间图来帮助我们了解。

真实世界中的物体:
5779c63336f2b
HMD上的虚拟图像:
5779c63c29ed7
因为余晖效应,人眼可以保存上一帧,这一帧,甚至下一帧的图像,对于物体相对于眼睛从左到右移动(眼睛注视前方不动)这种情况,我们不会看到拖影现象,但是由于实际的刷新率,我们可能会看到频闪。对于眼睛追踪物体从左到右移动这种情况,因为每帧像素点都有滑动,所以我们看到了拖影现象,这时,如果我们人眼追踪不精准,虚拟图像没有落在视网膜相同位置上(也就是说x轴有位移),我们也会看到频闪,这就造成了抖动这种混合现象。

了解了这些伪影现象之后,我们想做的就是如何解决它。__第一个方法当然就是提高刷新率,让虚拟物品运动更加接近真实世界__。请看下图:
5779c63dd629d

那么问题来了,多大的刷新率才足够呢?

没有一个答案可以回答这个问题,因为这个值依靠于场景内容、分辨率、视场FOV、像素点填充、显示器类型、人眼移动速度、人眼特征。我可以告诉你,这个值大概接近于100Hz。

200Hz是一个很大的提升,但是还不够。如果是一个1080p且有用90度FOV的显示器可能需要300到1000Hz的刷新率,但是高频率要求更高的分辨率。一个1000Hz的显示频看起来足够好了,基本可以确定可以减少或者消除一些HMD的问题,也许包括晕眩,因为它更加接近现实世界。我不能百分之百肯定我的结论,因为我从来没见过一个1000Hz的头戴显示器,我也不认为目前技术可以达到这个要求。

那么除了提高刷新率,__还有没有其他方法可以消除抖动?那就是降低余晖时间__。我们再来看几张对比图:
5779c63f4d933
解决了拖影,又引发了新的问题。之前我们也提到了,在抖动的情况下,拖影隐藏了频闪效果。不看拖影,低余晖的显示器会造成频闪。然而低余晖的频闪看起来不是一个严重的问题,因为眼睛在完美跟踪什么图像时不会频闪,虚拟图像上的像素点会在每一帧落在视网膜的相同位置,所以没有帧到帧之间的图像位置相隔问题(造成频闪的原因)。但是眼睛不可能追踪场景里的所有虚拟物品。举一个例子,如果你在一个赛车场景里,周围有舞动的人群,但你的视线一直在追踪场景中的赛车,因为人眼追踪赛车,所以我们人眼和移动的赛车间没有相对运动,我们看不到频闪,但是场景中的其他部分,可能会出现频闪现象。再比如,如果你在玩一个游戏,让你在一个喧闹的街市场景中扫视寻找一个图标或者标志,这时场景中的物体会相对人眼产生距离,这个距离间隔大于5-10角分,我们就会看到频闪。

频闪现象并没有被人们好好研究过,我们关于这个现象引发的问题现在还没有解决。 其中涉及了很多人体眼脑的合作机理。目前看来,Michael Abrash发现了__两个因素影响着这种视觉不稳定问题。一个是扫视遮蔽(Saccadic masking),也称扫视抑制);另一个是参照系(frame of reference)。__在这里我可以粗略的向大家介绍一下什么是扫视抑制,什么是参照系。但是更具体深入的研究还是需要大家自己去慢慢了解。

对于人类来说,如何在频繁的快速扫视眼动中保持视知觉稳定是一个重要的课题。研究表明,伴随快速扫视发生的视觉敏感性降低的现象,即扫视抑制,对于形成稳定的视知觉具有重要作用。在我们扫视时,真实世界的图像在我们的视网膜上滑动。但是低余晖使我们丧失了扫视抑制的功能,因为低余晖导致了虚拟图像在扫视过程中始终保持清晰,失去了滑动,这时频闪现象就会发生。

另一个因素是参照系,为了把视网膜接收到的信息转化为我们熟知世界的模型,无论什么时候眼脑都需要一个参照系(人脑预测被扫视的物品应该处于什么位置)。但是低余晖消除了拖尾,图像移动变的不连贯,所以人脑认为虚拟图像没有处在正确位置上。这时,我们就会感到视觉不稳定。

频闪带来的视觉不稳定性在游戏中不是一个很大的问题,也很少被检测出来,人脑在发展中,也有可能在未来的十几年慢慢适应这种问题,就像人配了一个新眼镜一样。HMD研究已经有了突破性的发展,但是还有很多未知的问题等待我们去探讨。希望这篇文章可以让大家对晕动症有一定的了解,并且知道了低余晖显示器的益处和缺陷。如果文章中有哪些不精准,不明确的解释欢迎大家积极讨论。谢谢

参考文献:My Steam Developers Day Talk

原文链接:http://www.leiphone.com/news/201607/L02F7eFiKSi9sWL0.html

EETC wechat barcode


关注最前沿的电子设计资讯,请关注“电子工程专辑微信公众号”。

本文为EET电子工程专辑 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
  • 破解Meta Ray-Ban,一眼就能揭示个人隐私的人工智能眼镜? 哈佛大学的两名大学生AnhPhu Nguyen 和 Caine Ardayfio ,通过改造Meta Ray-Ban智能眼镜,使其与AI技术相结合,采用了人脸搜索引擎PimEyes,开发出了一个能够识别并获取陌生人个人信息的系统,名为“I-XRAY”.....
  • 智己LS6自动泊车“翻车”:撞烂保险杠也要把车停正 近日,一段由某博主分享的视频在网络上引发了广泛讨论。一位女性车主驾驶着智己LS6汽车进入停车场后,尝试使用其自动泊车功能将车辆停进指定车位。车辆继续执行倒车操作,直到前保险杠被撞坏,才最终将车辆自动停入车位。这一事件迅速在网络上引发了热议。
  • 赛博朋克的次世代穿戴科技-AI Pin 近期世界移动通信大会MWC开展,全球的目光都在最近爆火的AI上,传统通讯技术的5G、5.5G乃至由美英等十国刚刚成立的6G联盟虽然在圈子里引起了广泛的讨论,但是大家聊来聊去最后都
  • 深、北、上三城联动,Arm年度技术大会为您献上年度“未来计算”盛宴 今年的Arm Tech Symposia技术大会回归线下,将分别在深圳、北京、上海三地举行。Arm高管将与生态伙伴一道共话AI 时代的未来计算、云网融合、软件定义汽车、软硬协同开发等热门话题。
  • 全志的芯片为什么能覆盖到各行各业?专访全志科技集团副总裁胡东明 在今年的Tech-G上海国际消费电子展上,全志科技展台琳琅满目地展示着各行各业的智能应用,衣食住行几乎都涵盖其中。全志究竟是怎么做到如此广范围的应用覆盖的?全志科技集团副总裁胡东明这样说...
  • 如何利用听众偏好的音频响应曲线来改善音质 快速变化且竞争激烈的高端音频市场中,对技术进步、小型化及TWS展现了强劲需求,但万变不离其宗的还是“音质”。新的编解码器、新驱动、高端算法等多种高端功能,已使近乎无损的流媒体质量成为可能,不过许多消费者已开始探索最纯净、更高质量的聆听体验。本文深入探讨为满足听众偏好需求,究竟应该设计什么样的音频响应曲线。
  • “一碰交互,共触未来”ITMA峰会盛大 目前,智能终端NFC功能的使用频率越来越高,面对新场景新需求,ITMA多家成员单位一起联合推动iTAP(智能无感接近式协议)标准化项目,预计25年上半年发布1.0标准,通过功能测试、兼容性测试,确保新技术产业应用。
  • 中科院微电子所在忆阻神经-模糊硬 中科院微电子所集成电路制造技术重点实验室刘明院士团队提出了一种基于记忆交叉阵列的符号知识表示解决方案,首次实验演示并验证了忆阻神经-模糊硬件系统在无监督、有监督和迁移学习任务中的应用……
  • 直角照明轻触开关为复杂电子应用提 C&K Switches EITS系列直角照明轻触开关提供表面贴装 PIP 端子和标准通孔配置,为电信、数据中心和专业音频/视频设备等广泛应用提供创新的多功能解决方案。
  • 投身国产浪潮向上而行,英韧科技再获 投身国产浪潮向上而行,英韧科技再获“中国芯”认可
广告
热门推荐
广告
广告
广告
EE直播间
在线研讨会
广告
广告
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了