NVIDIA发布的人形机器人 Project GR00T 基础模型究竟是啥？

NVIDIA 在2024GTC上宣布推出 GR00T 项目，这是一个面向人形机器人的通用基础模型，旨在进一步推动机器人和具身 AI 领域的突破。

NVIDIA 研究经理兼嵌入式 AI （GEAR 组）主管Jim Fan在社交平台上称：“今天是我们解决物理世界中体现的 AGI 问题的登月计划的开始。我很高兴宣布推出 GR00T 项目，这是我们为人形机器人学习创建通用基础模型的新举措。”

根据他的介绍：“GR00T模型将使人形机器人能够理解多模态指令，例如语言、视频和演示，并执行各种有用的任务。”

通俗地说：GR00T诞生于NVIDIA的深度技术堆栈。开发者可以在Isaac Lab中进行模拟（这是Omniverse Isaac Sim的新应用，用于人形学习），在OSMO上进行训练（这是一个新的计算编排系统，用于扩展模型），并部署到Jetson Thor（这是一个新的边缘GPU芯片，旨在为GR00T提供动力）。

为了实现这个目标，作为该计划的一部分，NVIDIA在本次GTC大会上宣布一款基于 NVIDIA Thor 片上系统的人形机器人新计算机，即Jetson Thor，以及用于 NVIDIA Isaac 机器人平台的新工具，包括用于机器人学习的 Isaac Lab 和用于混合云工作流编排的NVIDIA OSMO，这些工具有助于开发 Project GR00T 和机器人基础模型。

人形机器人的大脑“Jetson Thor"

人形机器人是复杂的系统，需要异构计算来满足高频低级控制、传感器融合和感知、任务规划和人机交互的需求。NVIDIA 推出了一款基于 Jetson Thor 的新型人形机器人计算机，该计算机基于 NVIDIA Thor SoC 构建。

Jetson Thor 包括基于 NVIDIA Blackwell 架构的下一代 GPU，其转换器引擎可提供 800 teraflops 的 8 位浮点 AI 性能，以运行 GR00T 等多模态生成式 AI 模型。凭借集成的功能安全处理器、高性能 CPU 集群和 100GB 以太网带宽，它大大简化了设计和集成工作。

使用Isaac Lab加速机器人学习

需要高级运动技能的机器人，无论是行走还是抓握，都需要在模拟环境中使用深度强化学习，并在虚拟环境中反复训练以学习技能。但是，当模型转移到实际的机器人部署时，此实用程序变得更加有用，这已在 NVIDIA发布的Project GR00T 视频中进行了演示。

作为 Isaac Gym 的继任者，Isaac Lab 受益于 NVIDIA Omniverse 技术，可完成基于物理、逼真、基于感知的强化学习任务。Isaac Lab 是一个开源的、性能优化的应用程序，用于基于 Isaac Sim 平台构建的机器人学习。它集成了强化学习 API 和开发人员友好的任务框架。

使用NVIDIA OSMO实现云原生机器人工作调度

OSMO，一个用于管理训练和模拟工作负载的云工作流编排平台。NVIDIA OSMO 可跨分布式环境扩展工作负载。对于具有复杂多阶段和多容器工作流的机器人工作负载，该平台为已部署的模型提供与位置无关的部署选项以及数据集管理和可追溯性功能。

简单地说，GR00T是一个基础模型，需要同时在NVIDIA DGX上进行模型训练，并在OVX上进行实时强化学习。这种工作负载涉及在一个循环中迭代生成和训练模型。OSMO可以管理和调度分布式环境中的工作负载，实现了对DGX和OVX系统的无缝协调，从而实现了高效和迭代的模型开发。

按照NVIDIA官方介绍，他们正在与全球许多领先的人形公司合作，以便GR00T可以在不同的实体之间转移，并帮助生态系统蓬勃发展。