Meta开发定制芯片，让一体式VR头显实现CodecAvatars真实感

来源：cnBeta

Meta Reality Labs 科研人员近日研发出一款 VR 头显原型，内置了一个专门用于处理人工智能的定制加速器芯片，使在独立头盔上渲染该公司的逼真的 Codec Avatars 成为可能。

在公司更名之前，Meta 公司就一直在推动 Codec Avatars 项目，该项目旨在使 VR 中近乎逼真的头像成为现实。利用设备上的传感器（如眼球追踪和嘴巴追踪）和人工智能处理的组合，该系统以逼真的方式实时为用户制作详细的动画。

Codec Avatars 项目的早期版本需要使用 NVIDIA 的 Titan X GPU 进行渲染支持，这使得像 Meta 最新 Quest 2 这样的移动独立头显无法驱动这些需求。

于是该公司已经开始研究如何在低功率的独立头显上实现 Codec Avatars，上个月召开的 2022 年 IEEE CICC 会议上发表的一篇论文证明了这一点。在这篇论文中，Meta 公司透露它创建了一个用 7 纳米工艺制造的定制芯片，作为专门用于 Codec Avatars 的加速器。

根据研究人员的说法，该芯片远非现成的。该小组在设计它时，考虑到了 Codec Avatars 处理管道的一个重要部分，特别是分析传入的眼球追踪图像，并生成 Codec Avatars 模型所需的数据。该芯片的占地面积仅有 1.6mm²。

研究人员写道：“在7纳米技术节点制造的测试芯片具有一个神经网络（NN）加速器，由1024个乘积（MAC）阵列、2MB片上SRAM和一个32位RISC-V CPU组成”。反过来，他们也重建了Codec Avatars人工智能模型的部分，以利用该芯片的特定架构。

研究人员表示：“通过重新构建基于卷积[神经网络]的眼睛注视提取模型，并为硬件量身定做，整个模型适合在芯片上使用，以减轻系统级能量和片外内存访问的延迟成本。通过在电路层面有效地加速卷积操作，所提出的原型[芯片]在低外形尺寸下实现了每秒30帧的性能和低功耗”。

通过加速 Codec Avatars 工作负载的密集部分，该芯片不仅加快了进程，而且还减少了所需的功率和热量。由于芯片的定制设计，它能够比通用CPU更有效地做到这一点，然后为Codec Avatars的眼球追踪组件的重新架构的软件设计提供参考。

但头显的通用CPU（在这种情况下，Quest 2的Snapdragon XR2芯片）也没有闲着。当定制芯片处理Codec Avatars的部分编码过程时，XR2管理解码过程和渲染化身的实际视觉效果。

这项工作一定是相当多学科的，因为论文中提到了12名研究人员，他们都来自Meta的现实实验室。H. Ekin Sumbul, Tony F. Wu, Yuecheng Li, Syed Shakib Sarwar, William Koven, Eli Murphy-Trotzky, Xingxing Cai, Elnaz Ansari, Daniel H. Morris, Huichu Liu, Doyun Kim, and Edith Beigne。

令人印象深刻的是，Meta的Codec Avatars可以在独立的耳机上运行，即使需要一个特殊的芯片。但我们不知道的一点是，头像的视觉渲染是如何处理的。用户的底层扫描是高度详细的，可能太复杂而无法在Quest 2上完全渲染。目前还不清楚在这种情况下，Codec Avatars的"逼真"部分被保留了多少，即使所有的基础部分都在那里以驱动动画。

全球AR/VR显示面板市场发展分析报告

第一章 AR/VR行业概述

第二章 AR/VR产品全球市场分析

第三章 AR/VR显示屏行业市场发展现状

1. 2020-2027年全球AR/VR显示面板市场规模及趋势预测分析

2. 2020-2027年中国AR/VR显示面板市场规模及趋势预测分析

第四章 AR/VR显示屏市场竞争格局分析

第五章 AR/VR显示面板市场总结和建议

媒体关系：

市场部经理  Cherry Zeng

TEL：（+86）186-2523-4072

Email：CherryZeng@cinno.com.cn

商务合作：

市场部总监  Ann Bao

TEL：（+86）189-6479-8590

Email：AnnBao@cinno.com.cn

产业咨询：

销售部副总 Venia Yang

TEL：（+86）137-7184-0168

Email：VeniaYang@cinno.com.cn

推荐阅读

更多商务合作，欢迎与小编联络！

扫码请备注：姓名+公司+职位

我是CINNO最强小编, 恭候您多时啦！