ROS 开发人员将使用 NVIDIA AI Perception(讲座预告）

所有移动的事物都将变得自主。所有自主的事物都需要先进的实时感知。

NVIDIA 宣布了其最新举措，旨在为 ROS 开发者社区提供一套感知技术。这些举措将为寻求将尖端计算机视觉和 AI/ML 功能融入其基于 ROS 的机器人应用程序的开发人员缩短开发时间并提高性能。

Open Robotics 为 NVIDIA AI 扩展 ROS

NVIDIA 和 Open Robotics 已达成协议，以加速 NVIDIA Jetson 边缘人工智能平台和基于 GPU 的系统上的 ROS 2 性能，并在 Omniverse 上实现 Open Robotics 的 Ignition Gazebo 和 NVIDIA Isaac Sim 之间的无缝仿真互操作性。

Jetson 平台在一系列应用中被机器人专家广泛采用。它旨在使机器人的高性能、低延迟处理具有响应性、安全性和协作性。Open Robotics 将增强 ROS 2，以实现跨 GPU 和 Jetson 上其他处理器的数据流和共享内存的高效管理。这将显着提高应用程序的性能，这些应用程序必须实时处理来自传感器（如相机和激光雷达）的高带宽数据。

除了在 Jetson 上部署机器人应用程序的增强功能外，Open Robotics 和 NVIDIA 正在制定整合 Ignition Gazebo 和 NVIDIA Isaac Sim 的计划。NVIDIA Isaac Sim 已经开箱即用地支持 ROS 1 和 2 ， 并具有非常重要的 3D 内容生态系统，并连接到流行的应用程序，例如 Blender 和 Unreal Engine 4。

Ignition Gazebo 为整个机器人社区带来了长达数十年的广泛使用记录，包括在备受瞩目的竞赛活动中，例如正在进行的 DARPA 地下挑战赛。通过连接两个模拟器，ROS 开发人员可以轻松地在 Ignition 和 Isaac Sim 之间移动他们的机器人和环境以运行大规模模拟并利用每个模拟器的高级功能，例如高保真动态、准确的传感器模型和逼真的渲染来生成用于训练和测试 AI 模型的合成数据。

Open Robotics 首席执行官 Brian Gerkey 表示：“随着越来越多的 ROS 开发人员利用包含旨在卸载主机 CPU 的额外计算功能的硬件平台，ROS 正在不断发展，以便更轻松地有效利用这些先进的硬件资源。” “与像英伟达这样的加速计算领导者及其在人工智能和机器人创新方面的丰富经验合作，将为整个 ROS 社区带来重大利益。”

此次合作产生的软件预计将于 2022 年春季发布。

为 ROS 发布的 Isaac GEM 显着提速

用于 ROS 的 Isaac GEM 是硬件加速包，可让 ROS 开发人员更轻松地在 Jetson 平台上构建高性能解决方案。这些 GEM 的重点是提高图像处理和基于 DNN 的感知模型的吞吐量，这些模型对机器人专家越来越重要。这些封装减少了主机 CPU 的负载，同时显着提高了性能。

用于 ROS 的新 Isaac GEM 包括：

• SGM 立体视差和点云
• 色彩空间转换和镜头失真校正
• AprilTags 检测

图 1. ROS 中的立体摄像头支持，在 ROS Rviz 工具中具有左右摄像头视图。RGB 和深度图像都显示在 RViz 中。

新的 Isaac Sim 功能使 ROS 开发人员成为可能

最新版本的 Isaac Sim 包括对 ROS 开发人员社区的重要支持。一些更引人注目的例子是 ROS2 导航堆栈和 MoveIt 运动规划框架。这些示例现已可用，可在Isaac Sim 文档中找到。

Isaac Sim 中的 ROS 示例列表

• ROS 四月标签
• ROS立体相机
• ROS导航
• ROS TurtleBot3 示例
• ROS 操作和相机示例
• ROS服务
• MoveIt 运动规划框架
• 原生 Python ROS 使用
• ROS2导航

图 2. Isaac Sim 在 Omniverse 上的功能框图显示了机器人模型、环境模型和 3D 资产输入。

Isaac Sim 生成用于训练感知的合成数据集

除了作为机器人模拟器之外，Isaac Sim 还拥有一组强大的功能来生成合成数据以训练和测试感知模型。随着机器人专家将更多感知功能融入他们的平台，这些功能将变得更加重要。很明显，机器人感知环境的能力越好，它的自主性就越高，从而需要更少的人工干预。

一旦 Isaac Sim 生成合成数据集，它们就可以直接输入到AI 模型适应平台NVIDIA TAO 中，以适应机器人特定工作环境的感知模型。确保机器人的感知堆栈将在给定的工作环境中执行的任务可以在从目标环境收集任何真实数据之前就开始。

机器人专家长期以来一直面临着将导航等经典机器人任务与基于人工智能的感知堆栈连接和集成的挑战。Isaac Sim 通过同时成为机器人和合成数据生成工具来解决这一工作流挑战，并具有简化的 TAO 培训平台集成。

想了解更多关于ISAAC，请报名参加以下讲座：