利用NVIDIA技术推动下一代AI机器人发展

从人形机器人到工厂，基于物理 AI 的工业系统正在通过训练、仿真和推理加速发展。

ChatGPT 标志着生成式 AI 的大爆炸时刻。它几乎可以针对任何查询生成答案，有助于改变知识型员工在内容创作、客户服务、软件开发和业务运营等方面的数字工作。

物理 AI 是 AI 在人形机器人、工厂和其它工业系统设备中的具象化体现，目前尚未达到突破点。

这阻碍了运输和移动、制造业、物流和机器人等行业的发展。但由于三台计算机能够将先进的训练、仿真和推理结合在一起，这种情况即将改变。

多模态物理 AI 的崛起

60 年来，“软件 1.0”（由人类程序员编写的串行代码）在 CPU 驱动的通用计算机上运行。

随后，在 2012 年，Alex Krizhevsky 在 Ilya Sutskever 和 Geoffrey Hinton 的指导下，开发了革命性的图像分类深度学习模型 AlexNet，赢得了 ImageNet 计算机图像识别大赛。

这标志着该行业首次接触 AI。在 GPU 上运行神经网络，机器学习的这项突破开启了软件 2.0 时代。

如今，软件自己就可以编写软件。世界上的计算工作负载正在从 CPU 上的通用计算转向 GPU 上的加速计算，把摩尔定律远远地甩在后面。

借助生成式 AI，经过训练的多模态 transformer 和扩散模型可以生成响应。

大语言模型是一维的，能够以字母或单词等模式预测下一个 token。图像和视频生成模型是二维的，能够预测下一个像素。

这些模型都无法理解或解释三维世界。而这就是物理 AI 大显身手之处。

物理 AI 模型可以通过生成式 AI 来感知、理解物理世界，与物理世界交互和进行导航。借助加速计算，多模态物理 AI 领域的技术突破和基于物理的大规模仿真正在让人们能够通过机器人来实现物理 AI 的价值。

机器人是一个能够感知、推理、计划、行动和学习的系统。通常，人们把自主移动机器人（AMR）、机械臂或人形机器人看作机器人，但机器人体现类型还有很多。

在不久的将来，所有移动或监控移动物体的东西都将是自主机器系统。这些系统将能够感知环境，并对其做出反应。

从手术室到数据中心，从仓库到工厂，甚至交通控制系统或整个智慧城市，一切都将从手动操作的静态系统转变为由物理 AI 体现的自主交互式系统。

下一个前沿：人形机器人

人形机器人是一种理想的通用机器人表现形式，因为它们可以在为人类构建的环境中高效地运行，同时只需最小的部署和操作调整。

据高盛称，到 2035 年，全球人形机器人市场的规模预计将达到 380 亿美元，比近两年前预测的约 60 亿美元增长了六倍多。

世界各地的研究人员和开发者都在竞相制造新一代机器人。

借助三台计算机开发物理 AI

为了开发人形机器人，需要三个加速计算机系统来处理物理 AI 和机器人的训练、仿真和运行时。两项计算技术的进步正在加速人形机器人的发展：多模态基础模型和可扩展的、基于物理的机器人及其世界的仿真。

生成式 AI 的突破正在为机器人带来 3D 感知、控制、技能规划和智能。大规模的机器人仿真可以让开发者在模拟物理定律的虚拟世界中改进、测试和优化机器人技能，这有助于降低现实世界的数据采集成本，并确保它们能够在安全、可控的环境中运行。

NVIDIA 打造了三个计算机和加速开发平台，助力开发者创建物理 AI。

首先，在一台超级计算机上训练模型。开发者可以在 NVIDIA 平台上使用NVIDIA NeMo来训练和微调强大的基础和生成式 AI 模型。他们还可以利用NVIDIA Project GR00T（一项为人形机器人开发通用基础模型的计划），使人形机器人能够理解自然语言，并通过观察人类动作来模仿动作。

其次，在NVIDIA OVX服务器上运行的NVIDIA Omniverse通过 NVIDIA Isaac Sim等应用程序编程接口和框架，为测试和优化物理 AI 提供了开发平台和仿真环境。

开发者可以使用 Isaac Sim 来仿真和验证机器人模型，或者生成大量基于物理的合成数据来引导机器人模型的训练。研究人员和开发者还可以使用NVIDIA Isaac Lab，这是一个开源的机器人学习框架，为机器人强化学习和模仿学习提供动力，帮助加快机器人策略的训练和完善。

最后，训练好的 AI 模型被部署到运行时计算机上。NVIDIA Jetson Thor机器人计算机专为满足紧凑型板载计算需求而设计。由控制策略、视觉和语言模型构组成的模型集合构成了机器人的大脑，并部署在一个节能的板载边缘计算系统上。

根据他们的工作流和面临的挑战领域，机器人制造商和基础模型开发者可以根据需要，使用尽可能多的加速计算平台和系统。

打造下一代自主设施

机器人设施是所有这些技术的结晶。

Foxconn 等制造商或亚马逊机器人等物流公司可以组织自主机器人车队与人类工人一起工作，并通过成百上千个传感器来监控工厂的运营情况。

这些自主仓库和工厂将拥有数字孪生。数字孪生用于布局规划和优化、操作仿真，最重要的是，用于机器人车队的软件在环测试。

基于 Omniverse 构建的“Mega”是工厂数字孪生的蓝图，使工业企业能够在将机器人部署到实体工厂之前，先在仿真环境中测试和优化机器人车队，这有助于确保无缝集成、最佳性能和最小干扰。

Mega 允许开发者把虚拟机器人及其 AI 模型或机器人的大脑放入他们的工厂数字孪生中。数字孪生中的机器人通过感知环境、推理、规划下一个动作，最后完成计划的动作来执行任务。

这些动作通过 Omniverse 中的世界仿真器，在数字环境中进行仿真。结果通过 Omniverse 传感器仿真被机器人大脑感知。

通过传感器仿真，机器人大脑决定下一个动作，循环继续进行，与此同时，Mega 则一丝不苟地跟踪工厂数字孪生中每个元素的状态和位置。

这种先进的软件在环测试方法使工业企业能够在 Omniverse 数字孪生的安全范围内来仿真和验证更改，帮助他们预测和解决潜在问题，以在实际部署过程中降低风险和成本。

利用 NVIDIA 技术

赋能开发者生态

NVIDIA 通过三台计算机，加速全球机器人开发者和机器人基础模型构建者生态的工作。

利用NVIDIA Isaac Manipulator、Isaac 加速库和 AI 模型以及NVIDIA Jetson Orin，泰瑞达旗下的优傲机器人公司构建了 UR AI 加速器，这是一个即用型硬件和软件工具包，使协作机器人开发者能够开发应用程序、加速开发，并缩短 AI 产品的上市时间。

RGo Robotics 使用NVIDIA Isaac Perceptor来帮助其 wheel.me 自主移动机器人随时随地工作，并通过赋予它们类似人类的感知能力和视觉空间信息，来做出明智的决策。

1X Technologies、Agility Robotics、Apptronik、波士顿动力公司、傅利叶、银河通用、Mentee、Sanctuary AI、宇树科技和小鹏机器人等人形机器人制造商正在采用 NVIDIA 的机器人开发平台。

波士顿动力公司正在使用 Isaac Sim 和 Isaac Lab 制造四足和人形机器人，以提高人类生产力，解决劳动力短缺问题，并优先解决仓库的安全问题。

傅利叶正在利用 Isaac Sim 来训练人形机器人，使其能够在科学研究、医疗和制造业等需要高水平互动和适应性的领域中运行。

利用 Isaac Lab 和 Isaac Sim，银河通用开发了名为 DexGraspNet 的大型机器人灵巧抓取数据集，该数据集可应用于各种灵巧机器手，以及用于评估灵巧抓取模型的仿真环境。

使用 Isaac 平台和 Isaac Lab，Field AI 开发了风险受限的多任务和多用途基础模型，使机器人能够在户外现场环境中安全地运行。

物理 AI 时代已经到来，它正在改变世界的重工业和机器人技术。