SIGGRAPH 2023 | 由 RTX 赋能的空间框架通过 USD 实现全光线追踪 XR 流程

 

 

开发扩展现实（XR）应用的难度极大。用户通常会从一个模板项目入手，并按照现成的打包模板将应用部署到头显。这种方法给资产迭代流程带来了严重的阻碍。XR 体验内的资产更新完全取决于开发者构建、打包和部署新的可执行程序的速度。

 

NVIDIA Omniverse 中的全新空间框架通过通用场景描述（即 OpenUSD）和由 NVIDIA RTX 驱动的光线追踪技术帮助解决了这些难题。全球首个全光线追踪 XR 体验由此诞生，它使用户能够查看其场景中的每一个反射、软阴影、丰富的光线以及几何体的动态变化。

 

现在，用户可以对包含数百万个多边形、物理材质和精确照明的大规模、复杂、全保真设计数据集进行全光线追踪，来身临其境地体验数据集，而无需耗费额外的数据准备时间。

 

使用 OpenUSD 实现沉浸式工作流

 

OpenUSD 可确保场景编辑不具有破坏性，从而实现不同工具和生态之间的无缝交互。Omniverse 可渲染和显示磁盘上的 USD 数据，使用户能够以任意节奏迭代这些数据，并实时看到更新的资产 XR 视图。

 

因此，用户可以沉浸式地体验任意流程环节中的应用，这大大减少了阻碍，提高了迭代速度。用户甚至可以将 XR 集成到现有的流程中，并且毫不费力地实施。

 

该空间框架的主要特点包括：

 

• 用于添加沉浸式体验和基本 XR 功能的新工具：简化并提高了设计审查和工厂规划的工作流效率。

• 将 RTX 光线追踪和 Omniverse 连接到 SteamVR、OpenXR 和 NVIDIA CloudXR。

• 支持空间计算平台和头显：Omniverse 用户可以构建与其他基于 OpenUSD 的空间计算平台（如 ARKit 和 RealityKit）兼容的 USD stage。此外，新增加的对 Khronos Group OpenXR 开放标准的支持将 Omniverse 开发者的体验扩展到 HTC VIVE、Magic Leap 和 Varjo 等制造商生产的更多头显。

 

Magic Leap 产品副总裁 Jade Meskill 表示：“NVIDIA 所发布的支持 OpenXR 和 Magic Leap 2 的 Omniverse Kit 是企业 AR 领域的一座重要里程碑。企业用户现在能够以前所未有的视觉质量，来渲染沉浸式全尺寸数字孪生，并将其从 Omniverse 传输至 Magic Leap 2。

 

Meskill 还表示，为了满足企业应用的高要求，在现实世界中放置基于全保真设计数据创建的逼真数字孪生并提供精准的照明和反射必不可少。“NVIDIA 和 Magic Leap 工程团队在视觉质量方面率先取得了关键性的技术进展，我们十分高兴两家公司建立了牢固的合作关系。”

 

将 XR 集成到现有的 3D 工作流中

 

Omniverse 应用开发者现在可以轻松地将 XR 集成到 3D 工作流中。Omniverse 中的这个新空间框架可实现 3D 场景的实时、沉浸式可视化。还可以将传送、操作、导航等 XR 功能集成到现有流程中。

 

通过该空间框架，使用者能够以混合现实或完全沉浸式的方式，跨设备查看工作资产。NVIDIA CloudXR 可提供逼真度堪比桌面计算的无拘束体验。

 

使用者无需下载整个应用，便可使用特定的扩展程序，让工作流变得更加简单和模块化。自动用户界面优化功能提升了应用的速度和生产力，使播放变得更加流畅。

 

此外，使用者还可以部署自定义 XR 应用并为特定的工作流而设计用户界面，例如协作产品设计评审、工厂规划等。

 

在顶级头显上提供 RTX 驱动的沉浸式体验

 

通过 Omniverse Kit 105，可以创建具有极致沉浸感和逼真度的资产，并以全保真度构建具有几何构造和材质的超逼真应用。

 

例如，Kit 105 可以在业内分辨率最高的混合现实头显 Varjo XR-3 中，驱动达到视网膜级分辨率的 Quad View 渲染功能。该渲染器可生成两个高分辨率视图和两个低分辨率视图，然后由设备合成出无比逼真和沉浸的 VR 体验。

 

Varjo 软件合作关系总监 Marcus Olsson 表示：“实时光线追踪是 3D 可视化的‘圣杯’。之前，我们因为图形和计算方面的要求而无法渲染出像这样逼真的沉浸式场景。通过 NVIDIA Omniverse 和 Varjo XR-3，用户可以结合强大的多 GPU 配置和 Varjo 逼真的视觉保真度，在混合现实环境中实现实时光线追踪。

 

Quad View 的渲染分辨率达到惊人的 1500 万像素，将 XR 的视觉保真度提高到一个新的级别。如要充分利用达到视网膜级分辨率的 Quad View 渲染功能，团队应使用配备 NVIDIA RTX 6000 Ada 显卡的多 GPU 配置以在 Varjo XR-3 头显上实现无缝渲染和最优性能。

 

使用 Omniverse 开始构建沉浸式体验和应用

 

准备好开始使用 Omniverse Kit 105 在应用中构建 XR 并创造沉浸式体验了吗？该空间框架现在可以在 VR Experience 下的 Omniverse Extension Library 中使用。将该扩展程序添加到 Kit 应用中，就可以使用 Tablet AR 和 VR 面板。该框架还带有 Omni.UI，使用户可以同时在头显和桌面中使用此前所开发的桌面工具和界面。

 

USD Composer 提供了一个在 Omniverse 中测试沉浸式体验的良好平台。USD Composer 是 Omniverse 中的一个参考应用，用户可以在其中轻松打开并制作一个 USD stage。请在 Omniverse 启动器中安装 USD Composer，以开始使用。 用户可在 “Window” -> “Rendering” 菜单中找到 “VR” 和 “Tablet AR”。如果正与其他用户一起工作，可以使用 USD Composer 多用户工作流开展实时、沉浸式的合作。

 

开始在 Omniverse 中构建自己的 XR 体验：https://developer.nvidia.com/omniverse/get-started。

 

 

   

SIGGRAPH 2023 

NVIDIA 精彩发布

  【1】SIGGRAPH 主题演讲：NVIDIA 首席执行官带来生成式 AI 多项创新 SIGGRAPH 2023 | NVIDIA 发布新一代 GH200 Grace Hopper 超级芯片平台 SIGGRAPH 2023 | NVIDIA 发布支持生成式 AI 与 OpenUSD 的重大 Omniverse 升级 SIGGRAPH 2023 | NVIDIA Omniverse 开启通往 OpenUSD 广阔天地的大门 SIGGRAPH 2023 | NVIDIA 与全球数据中心系统制造商大力推动 AI 与工业数字化的发展 SIGGRAPH 2023 | NVIDIA 与全球工作站厂商共同推出用于生成式 AI、LLM 开发、内容创作和数据科学的系统 SIGGRAPH 2023 | NVIDIA AI Workbench 助力全球企业加速采用自定义生成式 AI SIGGRAPH 2023 | NVIDIA 与 Hugging Face 将连接数百万开发者与生成式 AI 超级计算

【9】Shutterstock 通过 NVIDIA Picasso 将生成式 AI 应用于 3D 场景

【10】贴图帮手：NVIDIA Research 展示生成式 AI 如何帮助创建和编辑逼真的材质

【11】初创企业借助 NVIDIA NeMo 撰写生成式 AI 的成功案例

【12】腾势汽车与 WPP 一同在 NVIDIA Omniverse Cloud 上构建并部署汽车配置器

【13】全新专业显卡、AI 工具、Omniverse 和 OpenUSD 协作功能强效助力内容创作

【14】NVIDIA 帮助企业与开发者构建更易扩展和自定义的 XR 流式传输

【15】NVIDIA 扩展 Maxine 视频编辑功能，展示 3D 虚拟会议研究成

 

敬请持续关注

           点击 “阅读原文”，或扫描下方海报二维码，观看 NVIDIA 创始人兼 CEO 黄仁勋在 SIGGRAPH 现场发表的 NVIDIA 主题演讲回放，了解 NVIDIA 的新技术，包括屡获殊荣的研究，OpenUSD 开发，以及最新的 AI 内容创作解决方案。