NVIDIA如何赋能机器人技术创新与应用

近日，ROSCon China 2024在上海圆满落幕。作为全球机器人行业的重要盛会，为期两天的活动吸引了众多 ROS 社区行业专家、研究人员、开发者和机器人爱好者的参与，展示了全球机器人技术领域的最新成果与应用趋势。

活动中，NVIDIA 通过技术分享，展示了 ROS 在机器人领域的最新进展与成果，充分体现 ROS 技术在实际场景中的巨大潜力与创新活力。NVIDIA 特别带来两项重磅展示：NVIDIA Isaac Lab加速机器人学习、NVIDIA 机器人软件栈助力工业无序拣选解决方案开发。这些技术突破将有助于推动下一波 AI 机器人技术发展。

NVIDIA Isaac Lab 加速机器人学习

机器人需要具备很强的适应能力，能够随时学习新的技能并适应周围环境。但传统的训练方法会限制机器人将所学技能应用于新情况，常见的原因有感知与行动之间存在差距和难以将技能迁移到不同的情境中。

NVIDIA Isaac Lab 是一个适用于机器人学习的开源模块化框架，该框架可以打破这些局限性。Isaac Lab 的模块化高保真仿真适用于各种训练环境，可提供模仿学习，强化学习和由 GPU 驱动的物理仿真的支持，为多样的机器人具身提供了灵活的训练方法。它能够为各种训练场景提供用户友好的环境，帮助机器人制造商根据不断变化的业务需求来增加或更新机器人技能。

NVIDIA 机器人软件栈

助力工业无序拣选解决方案开发

NVIDIA Isaac Manipulator是由 NVIDIA 加速库和 AI 模型组成的工作流，它为机械臂提供了一系列先进的运动生成和模块化 AI 功能，以及各种强大的基础模型和 GPU 加速库。Isaac Manipulator 使开发者能够将 AI 加速应用于机械臂或操作器，以便无缝感知、理解环境并与环境进行交互，可帮助机器人软件开发者加速解决动态挑战的解决方案，例如机器护理、高混合垃圾桶拣选、检查和装配任务。

Isaac Manipulator 还提供了一系列可定制的模块化 AI 组件，包括各种强大的基础模型、感知算法、运动规划等，比如用于对以前未见过的物体进行 6D 位姿估计和追踪的开创性基础模型 FoundationPose，以及通过同时运行多个轨迹优化来解决工业规模机器人运动规划问题的 GPU 加速运动规划器 cuMotion 等。

Isaac Manipulator 其基础模型和加速库可以作为独立模块集成，也可以作为整个工作流程集成到解决方案开发中。开发者可以将任何 Isaac Manipulator 库或基础模型集成到自己的软件堆栈中，从而为自己的平台提供加速性能和准确性。

NVIDIA Isaac ROS 3.2 新功能

即将发布的NVIDIA Isaac ROS 3.2也将引入一些新功能。NVIDIA Isaac ROS，基于开源的 ROS 2 软件框架构建，是一套专为机器人开发设计的加速计算包和AI模型套件。即将发布的 3.2 版本在机器人感知、操作以及环境映射方面实现了显著提升。

在 NVIDIA Isaac Manipulator方面，3.2 版本引入了多项重要改进。其中，新增的参考工作流将 FoundationPose 和 cuMotion 进行了集成，这将加速机器人拾取与放置以及对象追踪管线的开发。这将为开发者提供更高效、可靠的解决方案，使得机器人能够更快速、更准确地执行各种复杂任务。

NVIDIA Isaac Perceptor也经过了改进，加入了全新的视觉 SLAM 参考工作流、这一功能增强了机器人在动态环境中的自主导航能力。同时，多摄像头检测与 3D 重建功能也得到了显著提升，将提高自主移动机器人（AMR）在仓库等动态环境中的环境感知能力与性能。

在 ROSCon  China 上与合作伙伴交流

两天的活动中，ROS 社区成员与合作伙伴举办了多场技术分享、研讨会、展台演示等。NVIDIA 机器人解决方案架构师梁潇和张瑞分别带来主题为“NVIDIA Isaac Lab 加速机器人学习”以及“NVIDIA 机器人软件栈助力工业无序拣选解决方案开发”的主题分享。

在 12 月 7 日上午以“拥抱智能时代：AI 与机器人技术的深度融合与落地实践”为主题的技术分享中，NVIDIA 机器人解决方案架构师梁潇带来题为“NVIDIA Isaac Lab 加速机器人学习”的演讲。NVIDIA Isaac Lab 是一个建立在 NVIDIA Isaac sim 和 NVIDIA Omniverse 平台上的开源机器人学习框架。NVIDIA Omniverse 是一个用于开发适用于工业数字化和物理 AI 仿真的 OpenUSD 应用的平台。

开发者可以使用 Isaac Lab 来大规模训练机器人策略，这个开源的统一机器人学习框架适用于从人形机器人到四足机器人和协作机器人等各种具身，能够处理日益复杂的动作和交互。

在 12 月 7 日下午以“ROS 技术前沿：探索机器人操作系统与应用的发展”为主题的技术分享中，NVIDIA 机器人解决方案架构师张瑞带来题为“NVIDIA 机器人软件栈助力工业无序拣选解决方案开发”的演讲。NVIDIA Isaac Manipulator 是专为机械臂设计的一款综合性 AI 解决方案，可为机械臂提供一系列先进的运动生成和模块化 AI 功能，以及各种强大的基础模型和 GPU 加速库，以快速构建能够无需训练/zero-shot 感知、理解并与环境交互的机械臂，加速解决在动态环境下的挑战。借助 NVIDIA Isaac Sim，开发者可以通过仿真，在多种环境和不同条件下对软件堆栈进行练习，以确保机器人按照设计运行。

使用 NVIDIA Isaac 的合作伙伴

领先的机器人公司正在将 NVIDIA Isaac 加速库和 AI 模型集成到他们的平台中，活动中，众多机器人生态合作伙伴，比如加速进化、宇树科技、本末科技、沥拓科技、逐际动力、米文动力等，展示了基于NVIDIA Jetson和Isaac Sim技术的创新机器人解决方案，引发现场观众的围观和讨论。

ROSCon China 2024 的成功举办不仅标志着 ROS 技术在中国内地的深入落地，也进一步推动了全球机器人技术生态的交流与合作。NVIDIA 及其生态合作伙伴带来的前沿技术和创新应用，充分展现了 ROS 技术在智能时代的巨大潜力。未来，随着 ROS 技术的不断发展与应用，机器人领域的更多可能性将被探索与实现，赋能行业迈向更加智能化与高效化的未来。