麻省理工学院CSAIL使用AI教授机器人操纵他们以前从未见过的物体

人工智能(AI)比机器人技术更彻底地改造了稀缺领域。总部位于旧金山的创业公司OpenAI开发了一个模型,指导机械手以最先进的精度操纵物体,Softbank Robotics最近利用情感分析公司Affectiva为其Pepper机器人注入情商。

最新进展来自麻省理工学院计算机科学与人工智能实验室(CSAIL)的研究人员,他们今天在一篇论文(“ 密集对象网:学习密集视觉对象描述符和应用于机器人操作”)中详述了计算机视觉系统。 - 被称为密集对象网 - 允许机器人检查,视觉理解和操纵他们以前从未见过的物体。

该团队计划于10月在瑞士苏黎世召开的机器人学习会议上展示他们的研究成果。

“许多操纵方法无法识别对象可能遇到的多个方向的特定部分,”该论文的第一作者,博士生Lucas Manuelli在麻省理工学院CSAIL网站上发表的博客文章中表示。“例如,现有的算法无法通过手柄抓住马克杯,特别是如果马克杯可能处于多个方向的情况,如直立或侧面。”

上图:DON帮助机器人手臂拿起鞋子。

图片来源:麻省理工学院CSAIL

DON不是控制系统。相反,它是一种自我监督的深度神经网络 - 分层算法,模仿大脑中神经元的功能 - 经过训练,以精确坐标的形式生成对象的描述。在训练之后,它能够自主地挑选出参考框架,并且当呈现新物体时,将它们一起映射以在三维中可视化它们的形状。

根据研究人员的说法,对象描述符平均需要20分钟才能学习,并且它们与任务无关。也就是说,它们既适用于刚性物体(如帽子),也适用于非刚性物体(长毛绒)玩具)。(在一轮训练中,系统在仅看到六种不同类型之后就学会了帽子的描述。)

此外,尽管对象颜色,纹理和形状存在差异,但描述符仍保持一致,这使得DON在使用RGB或深度数据的模型上占了一席之地。因为后者没有一致的对象表示并且有效地寻找“可抓取的”特征,所以它们在具有甚至轻微变形的对象上找不到这样的点。

上图:DON生成的对象的可视化表示。

图片来源:麻省理工学院CSAIL

“在工厂中,机器人通常需要复杂的零件供料器才能可靠地工作,”Manuelli说。“但是像这样能够理解物体方向的系统可以拍摄照片,并能够相应地掌握和调整物体。”

在测试中,团队在参考图像中选择了一个像素,供系统自动识别。然后他们使用Kuka手臂孤立地抓住物品(毛毛虫玩具),特定类别中的物品(不同种类的运动鞋),杂物中的物体(穿着其他鞋子的鞋子)。

在一次演示中,尽管从未在训练数据中看到帽子的照片,机器人手臂设法从一堆类似的帽子中抓出一顶帽子。另一方面,它从一系列配置中抓住了毛毛虫玩具的右耳,证明它可以在对称物体上区分左右。

上图:DON系统和抓住一杯的Kuka机器人的特写镜头。

图片来源:Tom Buehler / MIT CSAIL

“我们观察到,对于各种各样的物体,我们可以获得在视点和配置上一致的密集描述符,”研究人员写道。“各种物体包括适度变形的物体,例如柔软的毛绒玩具,鞋子,马克杯和帽子,并且可以包括非常低质感的物体。其中许多物品都是从实验室周围抓取的(包括作者和同事的鞋子和帽子),我们对各种物体印象深刻,可以用相同的网络架构可靠地学习一致的密集视觉模型。训练。”

该团队认为DON可能在工业环境中很有用(想想物体分类仓库机器人),但它希望开发一个更强大的版本,可以通过“更深入地理解”相应的对象来执行任务。

研究人员写道:“我们认为密集物体网是一种新颖的物体表现形式,可以实现机器人操作的许多新方法。” “我们有兴趣探索解决操纵问题的新方法,这些问题利用了学习密集描述符提供的密集视觉信息,以及[看到]这些密集描述符如何有益于其他类型的机器人学习,例如学习如何掌握,操纵和放置一组感兴趣的物体。“

  • 发表于:
  • 原文链接https://venturebeat.com/2018/09/09/mit-csail-uses-ai-to-teach-robots-how-to-manipulate-objects-theyve-never-seen-before/
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券