NVIDIA研究员如何进行机器人的抓取研究(附Deep Object Pose Estimation 代码)

英伟达的机器人研究人员开发了一种基于深度学习的新系统,该系统允许机器人在其环境中感知家居物体,以获取物体并与之互动。通过这种技术,机器人能够对已知的家用物体进行简单的拾取操作,比如把一个物体交给一个人,或者从一个人的手中抓住一个物体。

这项研究基于英伟达研究人员之前的研究成果,允许机器人通过标准的RGB摄像机精确推断周围物体的位置。了解场景中物体的3D位置和方向(通常被称为6自由度至关重要,因为它允许机器人操纵物体,即使这些物体每次不在同一个位置。

英伟达(NVIDIA)首席研究科学家斯坦•伯奇菲尔德(Stan Birchfield)表示:“我们希望机器人能够以安全和熟练的方式与环境互动。”他解释说:“通过我们的算法和一张图像,机器人可以推断出一个物体的三维姿态,从而抓住并操纵它。” 

该算法比目前的方法表现得更加健壮,其目的是解决计算机视觉和机器人技术上的脱节问题,也就是说,目前大多数机器人不具备处理环境干扰所需的感知能力。这项工作很重要,因为这是计算机视觉领域的第一次,一种只在合成数据(由计算机生成)上训练的算法,能够打败在真实图像上训练的最先进的网络,在标准基准的几个对象上进行物体姿态估计。合成数据比真实数据具有优势,因为它可以为深层神经网络生成几乎无限数量的标记训练数据。

伯奇菲尔德解释说:“如今销售的大多数工业机器人缺乏感知能力,它们对周围的世界没有真正的感知能力。”“我们正在为下一代机器人奠定基础,我们离合作机器人的工作又近了一步。” 

通过在DGX站上使用NVIDIA Tesla V100 gpu,结合cudnn加速PyTorch深度学习框架,研究人员训练了一个深度神经网络,使用由NVIDIA为虚幻引擎开发的定制插件生成的合成数据。这个插件可以让其他研究人员公开使用。“具体来说,我们使用非真实感领域随机(DR)数据和真实感数据的组合来利用两者的优势,”研究人员在论文中说。“这两种类型的数据相互补充,产生的结果比任何一种单独获得的结果都要好得多。”合成数据还有一个额外的优点,那就是它避免了对特定数据集分布的过度拟合,从而产生了一个对光照变化、相机变化和背景有很强鲁棒性的网络。

在NVIDIA TITAN X GPU上进行了推断。推理代码也可以公开使用(点击阅读原文可以访问源代码)。

“我们已经证明,一个只接受合成数据训练的网络,与接受真实数据训练的网络相比,能够获得最先进的性能,并且由此产生的姿态对于机器人操作来说具有足够的准确性。”这项研究将在瑞士苏黎世举行的机器人学习会议上发表。

英伟达的团队由研究人员乔纳森·特伦布莱(Jonathan Tremblay)、唐图(Thang To)、巴拉库玛·桑达林加姆(Balakumar Sundaralingam)、于翔(Yu Xiang)、迪特尔·福克斯(Dieter Fox)和斯坦·伯奇菲尔德(Stan Birchfield)组成。

原文发布于微信公众号 - 吉浦迅科技(gpusolution)

原文发表时间:2018-10-30

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据文摘

论文Express | 百度最新论文:基于交互的自然语言学习

13030
来自专栏新智元

【吴恩达】深度学习改变世界的5大方式

正当你认为弄明白了机器学习…..bang!又一个科技新词出现了。 深度学习 虽然它看起来可能只像另一个所有新的创业公司都在用的硅谷流行词语,深度学习实际上已经...

28750
来自专栏数据科学与人工智能

机器学习与大数据风控

一个普遍的看法是,机器学习等人工智能技术会最先在金融领域落地。金融行业是最早实现信息化的行业,有丰富的数据积累,且对于用技术提升效率有更多的需求。 现在也有越来...

52180
来自专栏新智元

Andrej Karpathy:监督学习、无监督学习、人脑模拟和AGI的未来(83 PPT下载)

【新智元导读】Andrej Karpathy是深度学习和计算机视觉专家、特斯拉人工智能部门主管,他最近在 Y Conf 作题为《通用人工智能从何处来?》的演讲,...

38680
来自专栏AI研习社

增强学习对于机器人运动控制的六字真言

五月末的人机大战让世人大开眼界,顶级围棋手柯洁落下的眼泪、微博的叹息,都是对AlphaGo这颗强劲“大脑”的赞叹。然而,让人工智能走出娱乐和游戏,真正进入人类的...

37750
来自专栏腾讯高校合作

CCF-腾讯犀牛鸟基金项目课题介绍(一)——机器学习&计算机视觉及模式识别

36380
来自专栏数据科学与人工智能

【数据挖掘】基于数据挖掘技术的CRM应用

一、客户关系管理(CRM)   CRM是一种旨在改善企业与客户之间关系的新型管理方法。它是企业通过富有意义的交流和沟通,理解并影响客户行为,最终实现提高客户获取...

23980
来自专栏企鹅号快讯

IBM Watson提出人机推理网络HuMaINs,结合人机两者优势

选自arXiv 机器之心编译 参与:刘晓坤、黄小天 人机交互可以用机器的优势弥补人类决策的非理性缺陷。近日,IBM Watson 研究中心联合多家研究机构提出了...

21990
来自专栏新智元

Nature再发DeepMind研究:AI复现大脑网格细胞模拟导航!

18040
来自专栏AI科技评论

干货 | 增强学习对于机器人运动控制的六字真言

五月末的人机大战让世人大开眼界,顶级围棋手柯洁落下的眼泪、微博的叹息,都是对AlphaGo这颗强劲“大脑”的赞叹。然而,让人工智能走出娱乐和游戏,真正进入人类的...

350130

扫码关注云+社区

领取腾讯云代金券