Meta Reality Labs的研究人员已经制造了一款VR头戴设备原型机，该原型机可以支持Codec Avatars项目的渲染，搭载了专门用于AI处理的定制加速器芯片。此外，英伟达与斯坦福大学展示了一种用于VR的超薄全息眼镜构思......
在Facebook更名为Meta前，Meta公司就一直致力于Codec Avatars项目，旨在使VR实现“如照片般逼真”的虚拟化身。这一系统结合AI处理和设备上的眼动追踪、嘴巴追踪等传感器，将使用者的脸以最接近真实的方式投射进虚拟世界。
近日有外媒ROAD TOVR报道称，Meta Reality Labs的研究人员已经制造了一款VR头戴设备原型机，该原型机可以支持Codec Avatars项目的渲染，搭载了专门用于AI处理的定制加速器芯片。
Meta上个月发表在IEEE CICC会议上的一篇论文中透露，它正在设计一个采用7nm工艺的定制芯片用于作为Codec Avatars的加速器。
该芯片的占位面积仅为 1.6mm²，该小组在芯片设计过程中，设计人员考虑了生成Codec Avatars 模型所需要的数据。
“测试芯片采用7nm制程，具有神经网络加速器，由1024乘法累加阵列、2MB片上SRAM和32位RISC-V CPU组成。”研究人员说。
反过来，他们还重建了 Codec Avatars AI 模型的一部分，以配合芯片的特定架构。
“我们通过重新构建基于卷积神经网络的眼睛注视模型并针对硬件进行定制，使得模型更加适合芯片。这降低了片外内存访问的能耗和延迟。” Reality Labs研究人员写道。“通过在电路级有效地加速卷积运算，所展示的原型芯片实现了每秒 30 帧的性能，并且功耗低且外形小巧。”
通过加速 Codec Avatars 工作负载的密集部分，该芯片不仅加快了进程，而且还降低了功率及发热。由于芯片的定制设计，它能够比通用 CPU 更有效地做到这一点，然后为 Codec Avatars 的眼动追踪组件的重新架构软件设计提供信息。
虽然定制芯片处理部分 Codec Avatars 编码过程，但 XR2 管理解码过程并渲染化身的实际视觉效果。
目前我们不知道虚拟化身的视觉渲染效果如何。在非一体机上运行时，该模型将用户建模扫描的非常详细，这可能过于复杂，不能在Quest2等一体机上得到完整的呈现。目前还不知道Codec Avatars强大的“逼真”画面在这客观条件的限制下最终呈现的效果会如何。
英伟达正与斯坦福大学合作，研发VR超薄全息眼镜
根据IDC表示，2021年是AR/VR头显市场继2016年后再度爆发的一年，相较于5年前，从硬件设备、技术水平、内容生态、创作环境上来说，相较五年前已经有了大幅度的提升，行业生态更加健康，产业基础更为牢固。
根据IDC《全球AR/VR头显市场季度跟踪报告，2021年第四季度》，预计2022年，全球VR头显出货1,573万台，同比增长43.6%。再加之受到元宇宙概念的推动，使得VR厂商接连推出新品，迭代节奏明显加快。
近日，在一份名为《Ultra-thin （2.5 mm） glasses-form factor VR display supporting 3D holographic images》的论文中，英伟达与斯坦福大学展示了一种用于VR的超薄全息眼镜构思。
据悉，该眼镜可将3D全息图像所需的技术封装到厚度仅有2.5mm的超薄VR显示器原型。这个名为Holographic Glasses的全息眼镜由一个光瞳复制波导、一个空间光调制器和一个几何相位透镜组成，可以以轻薄的形状参数产生全息图像。
此外，这款全息眼镜提供22.8 °的对角视场，2.3毫米静态和8毫米动态眼盒，并支持3D 焦点提示，体积更小，而且非常轻巧。
据外媒称，该全息眼镜目前仍处于原型研究阶段，图像质量、光瞳直径与控制以及系统集成方面依然存在提升空间，所以接下来研究人员将继续致力于优化迭代。
VR头显引进游戏领域
据悉，游戏开发商Render Cube透露其动作冒险游戏《Medieval Dynasty》的VR版本正在制作中，游戏将登陆Meta Quest 2、PCVR和PSVR 2平台，预定的发售时间为2023年第一季度。
独立团队Better Than Life近日宣布其皮划艇模拟游戏《Kayak VR：Mirage》将于6月29日登陆Steam平台，支持Valve Index、HTC Vive、Oculus Rift和Windows MR头显，发布时将包含一些地图、竞赛模式和自由漫游选项。
位于美国佛罗里达州，集购物、餐饮和娱乐于一体的综合型设施的迪士尼之泉（Disney Springs）在5月2日～7月21日期间，为来访游客提供免费的VR游戏《星球大战 银河边缘的故事》（Star Wars: Tales from the Galaxy's Edge）体验。《星球大战 银河边缘的故事》是由美国工作室ILMxLAB开发的动作冒险游戏，于2020年11月发售。
IDC中国终端系统研究部分析师赵思泉认为，VR一体机产品在2022年的出货仍将依赖游戏内容的吸引，厂商需重点关注内容生态建设，提升消费者购买意愿以及购买后持续在应用商店消费的能动性。
VR头显引进汽车领域
近日，微软正式宣布在HoloLens 2推出“移动平台”功能，该功能由微软与大众汽车合作开发，旨在让这个VR头显在汽车等地方工作。
大众汽车一直尝试引入头显设备作为车辆的平视显示器，HoloLens 2一直在迭代优化的移动平台模式克服了将混合现实设备应用到车辆船舶等移动平台的限制，并创造了以新方式使用所述技术的潜力。
车辆引入AR眼镜难点在于传感器数据的冲突。此前微软一篇博文透露，AR眼镜使用相机传感器以及惯性测量单元（IMU）来实现运动追踪。但是在汽车里，这两个传感器的读数可能会发生冲突，因为头显看到的是静态环境，而IMU感知到的则是运动场景。
此外，据ETtoday报道，Meta还宣布在中国台湾成立全亚洲第一座“元宇宙 XR Hub Taiwan”，展开 AR 与 VR 计划，Meta指出，元宇宙是未来社群科技的核心，Meta将透过 3D 沉浸式互动体验增强社群。由于台湾的硬件、网络等公共基础架构普及，还有优秀开发者，Meta选定台湾为发展元宇宙重要据点。
这次元宇宙 XR Hub Taiwan 为 Meta 与资策会一同设立的社群空间。未来将结合台湾艺术家与 AR 创作者，透过AR功能，呈现台湾文化艺术、经济商业、社会公益等三大领域的社群互动。
本文参考自新浪VR、环球网、cnBeta、VR陀螺、Disney Springs、IDC等
您可能感兴趣
