英伟达展示了其Omniverse数字孪生技术，该技术通过全新的Apple Vision Pro头显进行展示。

英伟达工程师已经启用了Omniverse Cloud应用程序编程接口（API），将交互式工业数字孪生技术流式传输到Apple Vision Pro头显中。进行演示时，可以看到基于云的图像以远高于Vision Pro头显应用支持的分辨率进行流式传输。

这正是Apple Vision Pro头显——对于消费者而言价格高达3500美元——可能大放异彩的应用场景。考虑到数字孪生技术可以节省大量资金，工业和企业公司有能力为团队配备此类头显。

“Omniverse Cloud现已在Apple Vision Pro上可用。”英伟达CEO黄仁勋在英伟达GTC 2024主题演讲中表示。他赢得了一轮掌声。

数字孪生的概念是首先以数字形式构建工厂，以现实的方式模拟所有内容，以便在任何人开始建设实体工厂之前，可以对设计进行迭代和完善。工厂建成后，数字孪生技术可用于快速重新配置工厂。此外，通过传感器捕获工厂运行数据，设计师可以修改数字孪生技术，使模拟更加准确。这种反馈循环可以为企业节省大量资金。

在英伟达GTC大会上，宣布了一个基于Omniverse Cloud API（应用程序编程接口）构建的新软件框架，该框架让开发者能够轻松地将他们的通用场景描述（OpenUSD）工业场景从内容创建应用程序发送到英伟达图形传输网络（GDN）。GDN是一个全球性的图形就绪数据中心网络，可以将先进的3D体验流式传输到Apple Vision Pro头显。这个网络是英伟达为GeForce Now云游戏网络创建的同一个网络。

现场演示

英伟达展示了这项技术的演示，该技术在GTC上首次亮相。在演示中，能够看到一辆汽车的交互式、物理精确的数字孪生体以全保真度流式传输到Apple Vision Pro的高分辨率显示屏上。

场景中约1000亿个三角形，全部采用光线追踪、全局照明、动态照明，无需预计算，通过云端进行交互式动作渲染。这就像在大屏幕电视上看到动画，但是是在头显内部。

演示展示了CGI工作室Katana在Omniverse平台上开发的汽车配置器应用程序。英伟达展示了如何切换油漆和装饰选项，甚至进入车辆——利用空间计算的强大功能，将3D逼真的环境与物理世界相结合。可以把手伸向汽车模型，捏住它使其缩小，或者展开手指将其放大到比我还要高的巨大尺寸。还可以将汽车缩小到火柴盒汽车的大小。无论哪种方式，图像的质量仍然令人惊叹。

通常，由于应用程序的内存（8GB或16GB）有限，Apple Vision Pro上的视觉质量会受到限制。但英伟达仿真副总裁Rev Lebaredian在接受采访时表示，云流式传输使得英伟达能够将图像从云数据中心发送到头显，按需流式传输。

“我们一直在努力将我们的RTX和渲染技术带到Vision Pro上。”Lebaredian说。“在设备上进行图形处理时存在局限性。你所看到的体验本质上是在云端进行的渲染，使用的是Omniverse和Omniverse RTX渲染技术，以及比设备本身或大多数普通计算机能够处理的更复杂、更大的USD内容。这与我们GeForce Now云游戏服务的相同基础设施上运行的内容一样。它位于GDN上，直接流式传输到设备。”

对于工程师或任何需要获取数字孪生等3D图像准确图像的人来说，这允许他们从虚拟世界内部进行设计，并以逼真的感觉更快地迭代模拟的数字世界真正的样子。

可以转到环境选项卡并滑动它来更改一天中的时间，重置选项卡后照明就会改变。偶尔会出现一些伪影，比如透过侧窗看到紫色。但大部分时间都非常惊人。

进入纬创资通工厂

英伟达还展示了台湾纬创资通服务器工厂一部分的场景。工厂展示了一组轨道，这些轨道可以将英伟达DGX超级计算机从工厂的一个部分运输到另一个部分。反射、阴影和光线看起来都很不错。可以使用Vision Pro的捏合缩放功能实时放大查看细节或缩小视野。工厂模型使用了具有数亿个多边形的实际计算机辅助设计（CAD）模型。

“这里的想法是，建造工厂的人可以提前规划设备的放置位置，确保在实际放置主要设备之前不会出现生产线效率低下的问题。”Lebaredian说。

云基本上可以让观众看到大约20GB的数据，而Apple Vision Pro通常只能让人看到几GB的数据，因为头显必须在低功耗和有限的处理器上运行。该演示可以让你看到每只眼睛96GB的内存，而不是16GB。处理能力可以达到每只眼睛约50万亿次浮点运算，而Vision Pro无法进行这种级别的图像处理来渲染图像。该演示的数据来自Omniverse的合作伙伴Katana，日产汽车曾使用它来为其汽车创建宣传材料。

“我们非常高兴能够展示，我们可以将完全相同的数据无损地流式传输到Vision Pro，并实际上提高清晰度.”Lebaredian说。

将RTX企业级云渲染的力量带到空间计算中

空间计算已成为一种强大的技术，能够为人们、产品、流程和物理空间之间提供沉浸式体验和无缝交互。工业企业的用例需要极高分辨率的显示器和能够在高帧率下运行的强大传感器，以便使制造体验尽可能接近现实。

这种新的基于Omniverse的工作流程将Apple Vision Pro突破性的高分辨率显示器与英伟达强大的RTX云渲染相结合，只需使用设备和互联网连接即可提供空间计算体验。

这种基于云的方法允许实时物理渲染无缝地流式传输到Apple Vision Pro，提供高保真度的视觉效果，同时不会牺牲大规模、高保真度的工程数据集细节。

“Apple Vision Pro的突破性超高分辨率显示器，结合从英伟达加速计算中流式传输的OpenUSD内容的逼真渲染，为沉浸式体验的发展带来了令人难以置信的机遇。”苹果视觉产品集团副总裁迈克·洛克菲勒在一份声明中表示。“空间计算将重新定义设计师和开发人员构建引人入胜的数字内容的方式，引领创意和互动的新时代。”

“Apple Vision Pro是第一款允许企业客户不受限制地实现其工作的无束缚设备。”Lebaredian说。“我们期待我们的客户能够使用这些惊人的工具。”

该工作流程还引入了混合渲染，这是一种突破性的技术，它结合了设备上的本地和远程渲染。用户可以在单个应用程序中，通过苹果的原生SwiftUI和Reality Kit，以及从GDN流式传输的Omniverse RTX Renderer，完全互动地渲染体验。

Nvidia GDN在全球130多个国家可用，它利用Nvidia的全球云到边缘的流媒体基础设施，提供流畅、高保真度和互动体验。通过将繁重的计算任务转移到GDN，用户可以处理最苛刻的渲染用例，无论数据集的大小或复杂性如何。

跨应用程序增强空间计算工作负载

基于Omniverse的工作流程展示了广泛用例的潜力。例如，设计师可以使用这项技术以全保真度查看他们的3D数据，不会损失质量或模型精度。

这意味着设计师可以与看起来和行为都像真实物理产品的可信模拟进行交互。这也为电子商务体验开辟了新的渠道和机会。在工业环境中，工厂规划师可以查看和与他们的完整工程工厂数据集进行交互，从而优化他们的工作流程并识别潜在的瓶颈。

对于开发人员和独立软件供应商来说，英伟达正在构建的功能将允许他们使用Apple Vision Pro上的原生工具，无缝地与现有应用程序中的数据进行交互。