首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >先训练大脑,再安装大脑!英伟达的智能机器人野心

先训练大脑,再安装大脑!英伟达的智能机器人野心

作者头像
大数据文摘
发布2019-12-23 17:14:40
8110
发布2019-12-23 17:14:40
举报
文章被收录于专栏:大数据文摘大数据文摘

大数据文摘出品

作者:云舟

提到英伟达,如果你还只能想到GPU,那你就OUT了。

在刚刚结束的GTC China中,黄教主疯狂输出,接连宣布了英伟达在游戏、AI、自动驾驶、基因测序等领域的大动作。其中,在发布会的最后,黄教主宣布了全新版本Isaac软件开发套件(SDK)的新功能,加入了仿真功能,并在现场与这只机器人疯狂互动,引起了智能机器人行业的广泛关注。

英伟达在智能机器人领域到底如何布局?大数据文摘会后采访了NVIDIA自主机器产品管理部门主管——Murali Gopalakrishna,就英伟达的智能机器人产品野心进行了深入探讨。

新版Issac软件开发套件(SDK)发布,英伟达展现自下而上一统机器人行业雄心

今年三月,英伟达在于美国加利福尼亚州圣何塞市的GTC上发布了Jetson Nano,并在上个月于加州圣克拉拉又发布了Jetson Xavier NX。NVIDIA今年在机器人行业可谓动作不断。

截止目前,Jetson家族已经发布了四款硬件(Jetson Nano, Jetson TX2,Xavier NX, AGX Xavier),但在本年度最后一场GTC——GTC China中,NVIDIA并没有继续发布Jetson家族新的硬件,而是发布了新版本的Isaac软件开发套件(SDK),显示了一统整个智能机器人行业生态系统的野心。

Isaac SDK包括:

  • IsaacRobotics Engine(提供应用程序框架);
  • Isaac GEM(预先构建的深度神经网络模型、算法、库、驱动程序和API);
  • 用于室内物流的参考应用程序;
  • Isaac Sim的第一个版本(提供导航功能)。

全新的Isaac SDK包括各种基于摄像头的感知深度神经网络。其中包括:

  • 对象检测——识别用于导航、交互或操控的对象
  • 自由空间分割——检测和分割外部世界,例如确定人行道在哪里,以及机器人可以在哪里行驶
  • 3D姿态估计——了解目标的位置和方向,从而实现诸如机械臂拾取物体的任务
  • 2D人体姿态估计——将姿态估计应用于人,这对于与人互动的机器人(例如配送机器人)和协作机器人(专门设计用于与人合作)非常重要

Isaac Sim:仿真环境大大加速机器人开发

先来看看本次GTC最后黄教主现场展示的demo:

这款使用称之为Leonardo的机器人即是使用新版本的Isaac软件开发套件(SDK)完成的,在现场的demo中,Leonardo展示了高级别的互动性,与黄教主进行了实时的动作和语音互动。

“在自动驾驶场景中,我们能够准确识别信号灯、车道标线、行人、信号牌等对象并据此作出决策,但是在现实世界的机器人应用场景中,因为环境过于复杂,想要精确识别场景中的所有对象是不现实的。”在发布会上,黄教主概括了机器人应用的特殊的复杂性。

比如在现场的demo中,Leonardo需要感知人类的动作并与人类进行协作(避开黄教主的手掌拿取物品),这就需要Leonardo能够完成高精度的人体姿态估计和对物体的3D姿态估计,并据此进行决策,实时选择最终拿取物品的角度和路线。

如果在现实世界中训练Leonardo与人类协作,需要花费海量的时间来积累人机协作的数据。但如果使用Isaac Sim训练机器人,可以在仿真环境里所生成软件并将这一软件部署到在现实世界中运行的机器人中。这将大大加快机器人的开发速度,从而实现综合数据的训练。

另外,通过仿真,开发人员还可以在极端情况下(即困难或异常情况下)对机器人进行测试,从而进一步加强对它的训练。将这些结果输入训练管道后,神经网络可以同时基于真实和模拟数据来提高自己的准确性。

一个大脑,多个身体,论机器人大脑的训练和安装

对于机器人仿真,NVIDIA具有得天独厚的优势。强大的图形处理能力,物理引擎和推理能力使得NVIDIA可以尽可能地在虚拟的机器人训练环境中还原现实世界。为了让虚拟环境更加真实,新发布的Isaac Gym甚至配备了RTX光线追踪技术。

在Isaac Gym中,用户可以打造自己的机器人并对它进行训练和操作,然后不断地改变外部环境来调教这个机器人,并最后把它部署到现实世界的机器人上。

“举个例子来说,我们在虚拟世界中使用Isaac SIM对机器人的大脑进行训练,训练好后即可将这个大脑安装到现实世界中基于Jetson的机器人上。比如我们要制造一个炒菜机器人,我们可以先通过仿真,教这个炒菜机器人如何去处理和烹饪各种各样的食材,然后再把训练好的炒菜机器人大脑转移到实际物理机器人中。这样,机器人的开发速度就大大提高了。”Murali这样为我们举例讲解了Issac Sim的意义。

此外,全新的SDK还提供了多机器人仿真。开发人员可以将多个机器人放入仿真环境中进行测试,从而让它们学会彼此相关的工作。各个机器人可以在共享的虚拟环境中移动时,运行独立版本的Isaac导航软件堆栈。这一特性对于寻求在大型物流管理中运行多个机器人的制造商具有重大意义,他们可以先在仿真环境中测试机器人的交互作用并调试问题,然后再将机器人们部署到现实世界。

目前,许多世界上的知名高校甚至高中已经在使用Isaac进行机器人科学的教学和研究了。包括此次发布的Issac Sim在内,英伟达正在着力打造的机器人生态系统有望进一步加速机器人行业的发展。

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2019-12-20,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 大数据文摘 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 大数据文摘出品
  • 在刚刚结束的GTC China中,黄教主疯狂输出,接连宣布了英伟达在游戏、AI、自动驾驶、基因测序等领域的大动作。其中,在发布会的最后,黄教主宣布了全新版本Isaac软件开发套件(SDK)的新功能,加入了仿真功能,并在现场与这只机器人疯狂互动,引起了智能机器人行业的广泛关注。
  • 英伟达在智能机器人领域到底如何布局?大数据文摘会后采访了NVIDIA自主机器产品管理部门主管——Murali Gopalakrishna,就英伟达的智能机器人产品野心进行了深入探讨。
  • 新版Issac软件开发套件(SDK)发布,英伟达展现自下而上一统机器人行业雄心
  • 今年三月,英伟达在于美国加利福尼亚州圣何塞市的GTC上发布了Jetson Nano,并在上个月于加州圣克拉拉又发布了Jetson Xavier NX。NVIDIA今年在机器人行业可谓动作不断。
  • 截止目前,Jetson家族已经发布了四款硬件(Jetson Nano, Jetson TX2,Xavier NX, AGX Xavier),但在本年度最后一场GTC——GTC China中,NVIDIA并没有继续发布Jetson家族新的硬件,而是发布了新版本的Isaac软件开发套件(SDK),显示了一统整个智能机器人行业生态系统的野心。
  • Isaac Sim:仿真环境大大加速机器人开发
  • 先来看看本次GTC最后黄教主现场展示的demo:
  • 一个大脑,多个身体,论机器人大脑的训练和安装
  • 对于机器人仿真,NVIDIA具有得天独厚的优势。强大的图形处理能力,物理引擎和推理能力使得NVIDIA可以尽可能地在虚拟的机器人训练环境中还原现实世界。为了让虚拟环境更加真实,新发布的Isaac Gym甚至配备了RTX光线追踪技术。
相关产品与服务
腾讯云小微
腾讯云小微,是一套腾讯云的智能服务系统,也是一个智能服务开放平台,接入小微的硬件可以快速具备听觉和视觉感知能力,帮助智能硬件厂商实现语音人机互动和音视频服务能力。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档