基于NVIDIA ISAAC ROS的机器人应用程序

与 ROS World 2021 一起， NVIDIA 宣布了向 ROS 开发者社区提供性能感知技术的最新努力。这些举措将加速产品开发，提高产品性能，并最终简化将尖端计算机视觉和 AI / ML 功能纳入基于 ROS 的机器人应用程序的任务。

公告要点：

最高性能的实时立体里程计解决方案，可作为 ROS 套件提供

NGC 上提供的所有 NVIDIA 推理 DNN 均作为 ROS 包提供，并附有图像分割和姿势估计示例

NVIDIA ISAAC Sim 中新的合成数据生成（ SDG ）工作流程，用于创建大规模生产质量数据集，用于视觉 AI 培训

NVIDIA 上的 NVIDIA Omniverse Sim 卡，具有对 ROS 的开箱即用支持，是迄今为止对开发人员最友好的版本

NVIDIA ISAAC ROS GEMs 优化性能

图 1 NVIDIA ISAAC ROS GEMs 的软件框图

ISAAC 玫瑰宝石提供包括图像处理和计算机视觉在内的软件包，包括针对 NVIDIA GPU s 和 Jetson 进行高度优化的基于 DNN 的算法。

突出显示的 GEM 立体视觉里程计具有同类最佳的精确度和最佳性能

当自主机器在其环境中移动时，它们必须跟踪自己所在的位置。视觉里程计通过估计摄像机相对于其起始位置的位置来解决这个问题。用于立体视觉里程计的 ISAAC ROS GEM 为 ROS 开发者提供了这一强大的功能。

这款 GEM 为实时立体摄像机视觉里程计解决方案提供了最佳精度。可参考基于广泛使用的 KITTI 数据库的公开结果here。这种 GPU 加速包除了具有高精度外，运行速度也非常快。事实上，现在可以在 NVIDIA Jetson AGX Xavier 上实时（》 60fps ）运行高清分辨率（ 1280 × 720 ）的 SLAM 。

突出显示 GEM DNN 推断所有可供 ROS 开发人员使用的 NGC DNN 推断模型

您可以使用NGC上提供的 NVIDIA 众多推理模型中的任何一种，甚至可以使用 DNN 推理 GEM （一组 ROS2 软件包）提供您自己的 DNN 。可以使用 NVIDIA TAO 工具包进一步调整预训练模型或优化您自己的模型。

优化TensorRT或Triton、 NVIDIA 的推理服务器后，部署这些包。利用TensorRT、 NVIDIA 的高性能推理 SDK ，节点将实现最佳推理性能。如果 TensorRT 不支持所需的 DNN 模型，则应使用 NVIDIA Triton 部署该模型。

GEM 包括对U-Net和DOPE的本机支持。基于 TensorRT 的 U-Net 包可用于从图像生成语义分割掩码。 DOPE 软件包可用于所有检测对象的三维姿态估计。

该工具是将性能 AI 推理纳入 ROS 应用程序的最快方法。

NVIDIA ISAAC 模拟 GA 发布

ISAAC Sim 卡的 GA 版本将于 2021 年 11 月推出，这将是迄今为止对开发者最友好的版本。随着用户界面、性能和有用的构建块的大量改进，它将导致更好的模拟，构建速度更快。此外，改进的 ROS 桥和更多的 ROS 样本将增强您的体验。

此版本的新增版本（ 2021 。 2 版计划于 2021 年 11 月发布）

提高了性能，减少了内存使用和启动时间

改进了入住率地图生成， URDF 导入器

新环境：大型仓库、办公室、医院

用于与机器人、对象、环境接口的新 Python 构建块

ROS / ROS2 桥梁、深度点云、激光雷达点云的性能改进

更新示例

基于 ROS2 的多机器人导航

Jupyter 中具有域随机化的 SDG

视频 1 ：使用 ROS MoveIT 联合控制 Franka

ISAAC Sim 的新合成数据生成工作流生产数据集

自主机器人需要大量不同的数据集来训练运行其感知堆栈的众多 AI 模型。从真实场景中获取所有这些培训数据的成本高昂，而且在某些情况下，可能存在危险。 ISAAC Sim 提供的新合成数据工作流旨在构建生产质量数据集，以解决自主机器人的安全和质量问题。

构建数据集的开发人员控制场景中对象、场景本身、照明和合成传感器的随机分布。开发人员还具有细粒度控制，以确保重要的角落案例包含在数据集中。最后，此工作流支持版本控制和调试信息，以便能够准确地复制数据集以用于审核和安全目的。

关于作者

Gerard Andrews 是专注于机器人开发社区的高级产品营销经理。在加入 NVIDIA 之前，Gerard在Cadence担任产品营销总监，负责许可处理器IP的产品规划、营销和业务开发。他拥有佐治亚理工学院电子工程硕士学位和南方卫理公会大学电子工程学士学位。

审核编辑：郭婷