首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

英伟达为全球人形机器人开发加速,发布新品,字节、傅利叶5家中国公司都在用 |CyberDaily

封面:英伟达

CyberDaily:

全然躬身入局的英伟达,就差打造自己的人形机器人

全球人形机器人厂商们正加快开发与商业化落地,迈向1000个、10000个规模化部署的里程碑。为推动这一进程,昨日在丹佛举行的 SIGGRAPH 大会上,NVIDIA宣布为全球领先的机器人制造商、AI模型开发者和软件制造商提供一系列服务、模型和计算平台,以机器人和人工智能设计师开发、训练和构建下一代人形机器人。

NVIDIA NIM与OSMO:加速开发流程,从几个月缩短到不到一周

NVIDIA推出了新的NIM微服务和框架,用于机器人模拟和学习。这些微服务提供由NVIDIA推理软件驱动的预构建容器,使开发者能够将部署时间从几周缩短到几分钟。NIM微服务包括MimicGen和Robocasa,它们分别基于空间计算设备(如Apple Vision Pro)记录的遥控操作数据生成合成运动数据,以及在OpenUSD中生成机器人任务和模拟就绪的环境。两个新的 AI 微服务将允许机器人专家增强NVIDIA Isaac Sim 中生成物理 AI的模拟工作流程,这是一个基于NVIDIA Omniverse 平台构建的机器人模拟参考应用程序。

NVIDIA OSMO则是一个云原生托管服务,允许用户跨分布式计算资源编排和扩展复杂的机器人开发工作流程,无论是在本地还是在云端。OSMO 极大地简化了机器人训练和模拟工作流程,将部署和开发周期时间从几个月缩短到一周以下。用户可以可视化和管理一系列任务,例如生成合成数据、训练模型、进行强化学习以及为人形机器人、自主移动机器人和工业机械手大规模实施软件在环测试。

数据捕获工作流程的进步,生成合成数据集训练人形机器人模型

训练人形机器人的基础模型需要大量的数据。NVIDIA在SIGGRAPH计算机图形会议上展示的AI和Omniverse支持的遥操作参考工作流程,允许研究人员和AI开发者从少量远程捕获的人类演示中生成大量合成运动和感知数据。

开发者首先使用Apple Vision Pro捕获少量遥控演示,然后在NVIDIA Isaac Sim中模拟这些记录,并使用MimicGen NIM微服务从记录中生成合成数据集。接着,他们使用真实和合成数据训练Project GR00T人形基础模型,使开发者能够节省时间和降低成本。然后,他们在Isaac Lab中使用Robocasa NIM微服务生成经验,以重新训练机器人模型。在整个工作流程中,NVIDIA OSMO无缝地将计算作业分配给不同的资源,为开发者节省了数周的行政任务。

1x、Boston Dynamic、字节等全球大厂,至少5家中国公司在用

NVIDIA提供了三个计算平台,以简化人形机器人的开发:用于训练模型的NVIDIA AI超级计算机;在Omniverse上构建的NVIDIA Isaac Sim,机器人可以在模拟世界中学习和完善技能;以及用于运行模型的NVIDIA Jetson Thor人形机器人计算机。开发者可以根据自己的特定需求访问和使用所有或任何部分的平台。

通过新的NVIDIA人形机器人开发者计划,开发者可以提前获得新服务以及NVIDIA Isaac Sim、NVIDIA Isaac Lab、Jetson Thor和Project GR00T通用人形基础模型的最新版本。

目前包括1x、Boston Dynamics、ByteDance Research(中国)、Field AI、Figure、Fourier(傅利叶,中国)、Galbot(银河通用,中国)、LimX Dynamics(逐际动力,中国)、Mentee、Neura Robotics、RobotEra(星动纪元,中国)和Skild AI在内的公司是最早加入早期访问计划。

后记

全球人形机器人厂商一面加速人形机器人训练,一面寻找应用场景落地,提前构建商业化闭环,在面对数据、硬件、应用等多重挑战,英伟达从ChatGPT发布以来,不仅在卖铲子,还躬身入局,从GPU、AI服务与计算平台、AI合成数据、到机器人训练、人形机器人通用模型等基础设施和应用服务层面,全面布局。赢得市场的投票,跻身3万亿美金市值俱乐部,同时也成为具身智能的最大推动者之一。

参考引用资料

One more thing

推荐您订阅CyberRobo,这不是一个严格意义的人形机器人社群。

订阅前,你还可以先看

  • 发表于:
  • 原文链接https://page.om.qq.com/page/On4maBR885t_147tAzDGxGKA0
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券