专栏首页大数据文摘先训练大脑,再安装大脑!英伟达的智能机器人野心

先训练大脑,再安装大脑!英伟达的智能机器人野心

大数据文摘出品

作者:云舟

提到英伟达,如果你还只能想到GPU,那你就OUT了。

在刚刚结束的GTC China中,黄教主疯狂输出,接连宣布了英伟达在游戏、AI、自动驾驶、基因测序等领域的大动作。其中,在发布会的最后,黄教主宣布了全新版本Isaac软件开发套件(SDK)的新功能,加入了仿真功能,并在现场与这只机器人疯狂互动,引起了智能机器人行业的广泛关注。

英伟达在智能机器人领域到底如何布局?大数据文摘会后采访了NVIDIA自主机器产品管理部门主管——Murali Gopalakrishna,就英伟达的智能机器人产品野心进行了深入探讨。

新版Issac软件开发套件(SDK)发布,英伟达展现自下而上一统机器人行业雄心

今年三月,英伟达在于美国加利福尼亚州圣何塞市的GTC上发布了Jetson Nano,并在上个月于加州圣克拉拉又发布了Jetson Xavier NX。NVIDIA今年在机器人行业可谓动作不断。

截止目前,Jetson家族已经发布了四款硬件(Jetson Nano, Jetson TX2,Xavier NX, AGX Xavier),但在本年度最后一场GTC——GTC China中,NVIDIA并没有继续发布Jetson家族新的硬件,而是发布了新版本的Isaac软件开发套件(SDK),显示了一统整个智能机器人行业生态系统的野心。

Isaac SDK包括:

  • IsaacRobotics Engine(提供应用程序框架);
  • Isaac GEM(预先构建的深度神经网络模型、算法、库、驱动程序和API);
  • 用于室内物流的参考应用程序;
  • Isaac Sim的第一个版本(提供导航功能)。

全新的Isaac SDK包括各种基于摄像头的感知深度神经网络。其中包括:

  • 对象检测——识别用于导航、交互或操控的对象
  • 自由空间分割——检测和分割外部世界,例如确定人行道在哪里,以及机器人可以在哪里行驶
  • 3D姿态估计——了解目标的位置和方向,从而实现诸如机械臂拾取物体的任务
  • 2D人体姿态估计——将姿态估计应用于人,这对于与人互动的机器人(例如配送机器人)和协作机器人(专门设计用于与人合作)非常重要

Isaac Sim:仿真环境大大加速机器人开发

先来看看本次GTC最后黄教主现场展示的demo:

这款使用称之为Leonardo的机器人即是使用新版本的Isaac软件开发套件(SDK)完成的,在现场的demo中,Leonardo展示了高级别的互动性,与黄教主进行了实时的动作和语音互动。

“在自动驾驶场景中,我们能够准确识别信号灯、车道标线、行人、信号牌等对象并据此作出决策,但是在现实世界的机器人应用场景中,因为环境过于复杂,想要精确识别场景中的所有对象是不现实的。”在发布会上,黄教主概括了机器人应用的特殊的复杂性。

比如在现场的demo中,Leonardo需要感知人类的动作并与人类进行协作(避开黄教主的手掌拿取物品),这就需要Leonardo能够完成高精度的人体姿态估计和对物体的3D姿态估计,并据此进行决策,实时选择最终拿取物品的角度和路线。

如果在现实世界中训练Leonardo与人类协作,需要花费海量的时间来积累人机协作的数据。但如果使用Isaac Sim训练机器人,可以在仿真环境里所生成软件并将这一软件部署到在现实世界中运行的机器人中。这将大大加快机器人的开发速度,从而实现综合数据的训练。

另外,通过仿真,开发人员还可以在极端情况下(即困难或异常情况下)对机器人进行测试,从而进一步加强对它的训练。将这些结果输入训练管道后,神经网络可以同时基于真实和模拟数据来提高自己的准确性。

一个大脑,多个身体,论机器人大脑的训练和安装

对于机器人仿真,NVIDIA具有得天独厚的优势。强大的图形处理能力,物理引擎和推理能力使得NVIDIA可以尽可能地在虚拟的机器人训练环境中还原现实世界。为了让虚拟环境更加真实,新发布的Isaac Gym甚至配备了RTX光线追踪技术。

在Isaac Gym中,用户可以打造自己的机器人并对它进行训练和操作,然后不断地改变外部环境来调教这个机器人,并最后把它部署到现实世界的机器人上。

“举个例子来说,我们在虚拟世界中使用Isaac SIM对机器人的大脑进行训练,训练好后即可将这个大脑安装到现实世界中基于Jetson的机器人上。比如我们要制造一个炒菜机器人,我们可以先通过仿真,教这个炒菜机器人如何去处理和烹饪各种各样的食材,然后再把训练好的炒菜机器人大脑转移到实际物理机器人中。这样,机器人的开发速度就大大提高了。”Murali这样为我们举例讲解了Issac Sim的意义。

此外,全新的SDK还提供了多机器人仿真。开发人员可以将多个机器人放入仿真环境中进行测试,从而让它们学会彼此相关的工作。各个机器人可以在共享的虚拟环境中移动时,运行独立版本的Isaac导航软件堆栈。这一特性对于寻求在大型物流管理中运行多个机器人的制造商具有重大意义,他们可以先在仿真环境中测试机器人的交互作用并调试问题,然后再将机器人们部署到现实世界。

目前,许多世界上的知名高校甚至高中已经在使用Isaac进行机器人科学的教学和研究了。包括此次发布的Issac Sim在内,英伟达正在着力打造的机器人生态系统有望进一步加速机器人行业的发展。

本文分享自微信公众号 - 大数据文摘(BigDataDigest)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-12-20

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Alphabet子公司让机器人学习垃圾分类,融入人类生活

    在大众眼中,Alphabet的子公司X(其前身为Google X)给人的印象一直就是沉迷于宏大的“月球计划”或者那些只可能出现在科幻电影中的技术应用,而非实际产...

    大数据文摘
  • 巅峰对决:机器人 vs 日本剑术大师

    大数据文摘
  • 人类未来可能和机器人“结婚”

    大数据文摘
  • 巧萌易携之ROS2Go的不完全教研攻略

    32GB版本完全可以满足日常课堂机器人编程教学的需要,但是依然推荐64GB或128GB版本,原因很简单,类比一下手机存储配置即可。

    zhangrelay
  • 如何应对机器人抢工作?仅有技术是不够的,还需要…

    机器人及人工智能技术的快速发展,让很多人都担心,也许哪一天,我的工作就被机器人给取代了?事实上,据相关统计资料显示,中国有77%的高风险工作岗位面临自动化的威胁...

    机器人网
  • Alphabet子公司让机器人学习垃圾分类,融入人类生活

    在大众眼中,Alphabet的子公司X(其前身为Google X)给人的印象一直就是沉迷于宏大的“月球计划”或者那些只可能出现在科幻电影中的技术应用,而非实际产...

    大数据文摘
  • 焊接机器人系统原理图

    机器人是一种具有“柔性”的机器 ,机器人具有人或者生物的某些功能 ,例如 , 工业机器人操作手模拟了人类手臂的功能 ,步行机器人模拟了人和动物下肢的运 动功能 ...

    机器人网
  • 徐扬生:与机器人共建未来社会

    image.png 演讲摘要 徐扬生:与机器人共建未来社会 首先跟大家讲一下什么叫机器人。很多人说他是一个人造的仿生体,那机器狗是不是机器人呢?一...

    腾讯研究院
  • 伯克利清华联合出品:一只你踩不死的小强机器人

    “小强”这个别名源于周星驰的电影。在1993年的电影《唐伯虎点秋香》中,周星驰所饰演的唐伯虎为进入华府当杂工而假扮卖身葬父的可怜人,却遇到了卖身葬全家、连伴随多...

    HuangWeiAI
  • 日本 AI 公司联合丰田打造家务机器人,承担家庭清洁重任

    场景描述:日本一家机器人公司,通过深度学习打造的系统,结合机器人和灵活的机械臂,成功的实现了智能清扫、整理的功能,用人工智能技术打造高效居家体验。

    HyperAI超神经

作者介绍

精选专题

活动推荐

扫码关注云+社区

领取腾讯云代金券