SIGGRAPH2023|由RTX赋能的空间框架通过USD实现全光线追踪XR流程

开发扩展现实（XR）应用的难度极大。用户通常会从一个模板项目入手，并按照现成的打包模板将应用部署到头显。这种方法给资产迭代流程带来了严重的阻碍。XR 体验内的资产更新完全取决于开发者构建、打包和部署新的可执行程序的速度。

NVIDIA Omniverse 中的全新空间框架通过通用场景描述（即 OpenUSD）和由 NVIDIA RTX 驱动的光线追踪技术帮助解决了这些难题。全球首个全光线追踪 XR 体验由此诞生，它使用户能够查看其场景中的每一个反射、软阴影、丰富的光线以及几何体的动态变化。

现在，用户可以对包含数百万个多边形、物理材质和精确照明的大规模、复杂、全保真设计数据集进行全光线追踪，来身临其境地体验数据集，而无需耗费额外的数据准备时间。

OpenUSD 可确保场景编辑不具有破坏性，从而实现不同工具和生态之间的无缝交互。Omniverse 可渲染和显示磁盘上的 USD 数据，使用户能够以任意节奏迭代这些数据，并实时看到更新的资产 XR 视图。

因此，用户可以沉浸式地体验任意流程环节中的应用，这大大减少了阻碍，提高了迭代速度。用户甚至可以将 XR 集成到现有的流程中，并且毫不费力地实施。

该空间框架的主要特点包括：

• 用于添加沉浸式体验和基本 XR 功能的新工具：简化并提高了设计审查和工厂规划的工作流效率。

• 将 RTX 光线追踪和 Omniverse 连接到 SteamVR、OpenXR 和 NVIDIA CloudXR。

• 支持空间计算平台和头显：Omniverse 用户可以构建与其他基于 OpenUSD 的空间计算平台（如 ARKit 和 RealityKit）兼容的 USD stage。此外，新增加的对 Khronos Group OpenXR 开放标准的支持将 Omniverse 开发者的体验扩展到 HTC VIVE、Magic Leap 和 Varjo 等制造商生产的更多头显。

Magic Leap 产品副总裁 Jade Meskill 表示：“NVIDIA 所发布的支持 OpenXR 和 Magic Leap 2 的 Omniverse Kit 是企业 AR 领域的一座重要里程碑。企业用户现在能够以前所未有的视觉质量，来渲染沉浸式全尺寸数字孪生，并将其从 Omniverse 传输至 Magic Leap 2。

Meskill 还表示，为了满足企业应用的高要求，在现实世界中放置基于全保真设计数据创建的逼真数字孪生并提供精准的照明和反射必不可少。“NVIDIA 和 Magic Leap 工程团队在视觉质量方面率先取得了关键性的技术进展，我们十分高兴两家公司建立了牢固的合作关系。”

Omniverse 应用开发者现在可以轻松地将 XR 集成到 3D 工作流中。Omniverse 中的这个新空间框架可实现 3D 场景的实时、沉浸式可视化。还可以将传送、操作、导航等 XR 功能集成到现有流程中。

通过该空间框架，使用者能够以混合现实或完全沉浸式的方式，跨设备查看工作资产。NVIDIA CloudXR 可提供逼真度堪比桌面计算的无拘束体验。

使用者无需下载整个应用，便可使用特定的扩展程序，让工作流变得更加简单和模块化。自动用户界面优化功能提升了应用的速度和生产力，使播放变得更加流畅。

此外，使用者还可以部署自定义 XR 应用并为特定的工作流而设计用户界面，例如协作产品设计评审、工厂规划等。

通过 Omniverse Kit 105，可以创建具有极致沉浸感和逼真度的资产，并以全保真度构建具有几何构造和材质的超逼真应用。

例如，Kit 105 可以在业内分辨率最高的混合现实头显 Varjo XR-3 中，驱动达到视网膜级分辨率的 Quad View 渲染功能。该渲染器可生成两个高分辨率视图和两个低分辨率视图，然后由设备合成出无比逼真和沉浸的 VR 体验。

Varjo 软件合作关系总监 Marcus Olsson 表示：“实时光线追踪是 3D 可视化的‘圣杯’。之前，我们因为图形和计算方面的要求而无法渲染出像这样逼真的沉浸式场景。通过 NVIDIA Omniverse 和 Varjo XR-3，用户可以结合强大的多 GPU 配置和 Varjo 逼真的视觉保真度，在混合现实环境中实现实时光线追踪。

Quad View 的渲染分辨率达到惊人的 1500 万像素，将 XR 的视觉保真度提高到一个新的级别。如要充分利用达到视网膜级分辨率的 Quad View 渲染功能，团队应使用配备 NVIDIA RTX 6000 Ada 显卡的多 GPU 配置以在 Varjo XR-3 头显上实现无缝渲染和最优性能。

准备好开始使用 Omniverse Kit 105 在应用中构建 XR 并创造沉浸式体验了吗？该空间框架现在可以在 VR Experience 下的 Omniverse Extension Library 中使用。将该扩展程序添加到 Kit 应用中，就可以使用 Tablet AR 和 VR 面板。该框架还带有 Omni.UI，使用户可以同时在头显和桌面中使用此前所开发的桌面工具和界面。

USD Composer 提供了一个在 Omniverse 中测试沉浸式体验的良好平台。USD Composer 是 Omniverse 中的一个参考应用，用户可以在其中轻松打开并制作一个 USD stage。请在 Omniverse 启动器中安装 USD Composer，以开始使用。 用户可在 “Window” -> “Rendering” 菜单中找到 “VR” 和 “Tablet AR”。如果正与其他用户一起工作，可以使用 USD Composer 多用户工作流开展实时、沉浸式的合作。