VR最大的难处之一是怎样准确、灵敏感知用户做出的动作或者姿势,从而触发系统响应。其他厂商的VR头显很早就推出来了,产品和性能或者性价比参差不齐,而苹果的VR头显之所以一直没有正式推出,就是在这方面一直在探索最优最好的体验。现在有最新专利显示,苹果VR头显或许会利用AI神经网络来感知用户的动作或者姿势,从而提高这方面的体验。
苹果VR或AR头显可以根据监测用户的身体动作来移动用户的虚拟头像,而其电池寿命可以通过一些巧妙的数据传输技术来延长。在美国专利和商标局周二授予的一对专利中,苹果公司认为它可以改进其头显所能提供的东西,涉及到它如何与用户互动,以及它如何与主机设备进行通信。
第一项专利名称为"生成身体姿势信息",涵盖了系统跟踪用户运动的能力,然后使用这些数据来执行其他相关动作。苹果估计,一些沉浸式计算机生成的现实体验需要了解用户的身体姿势。在一些体验中,VR或AR应用可能会根据用户的姿势或动作,对其呈现的内容做出改变,比如游戏中的警卫会对用户的姿势做出不同的反应。
更明确地说,苹果公司建议,了解身体的姿势可以用来控制用户的化身。这在流行的在线社交体验VR聊天等情况下可能很有用,它可以利用其他硬件的运动来改变用户化身的动作。根据该专利,苹果公司建议可以使用各种相机和神经网络来学习姿势,多个神经网络一起工作,为单个身体关节建模。每个神经网络都单独工作,但其结果被反馈到一起以创建整个身体模型。
训练将以多种方式进行,不仅要教授对摄像机数据的理解,还要训练网络如何相互作用,这包括多个神经网络系统的各自拓扑结构。就网络能收集多少关于一个人的姿势的信息而言,有说法称监测的关节涵盖颈部、肩关节、肘关节、腕关节、骨盆关节、膝关节、踝关节和指关节。
第二项与VR有关的专利名为"自适应无线传输方案",瞄准了处理头显和主机之间的通信。目前,像Oculus Quest这样的一体式系统,它们会增加设置的重量,虽然系留式设置可以减轻重量,但电缆本身可能是一个问题。解决这个问题的办法是采用无线通信系统,以减轻重量并消除电缆。
然而,即使是无线系统也会引起问题。例如,传输数据需要消耗电力,而且无线系统的可用带宽通常比电缆系统低。还有固有的干扰问题和其他干扰性问题。在这项专利中,苹果建议可以使用无线系统,但为了减少一次性传输的数据量,该系统必须发送更少的视频数据。苹果计划通过使用左眼数据和右眼数据的交错帧传输,希望将使用的带宽减半。
责编:EditorDan