麻省理工学院CSAIL使用AI教授机器人操纵他们以前从未见过的物体

人工智能（AI）比机器人技术更彻底地改造了稀缺领域。总部位于旧金山的创业公司OpenAI开发了一个模型，指导机械手以最先进的精度操纵物体，Softbank Robotics最近利用情感分析公司Affectiva为其Pepper机器人注入情商。

最新进展来自麻省理工学院计算机科学与人工智能实验室（CSAIL）的研究人员，他们今天在一篇论文（“ 密集对象网：学习密集视觉对象描述符和应用于机器人操作”）中详述了计算机视觉系统。 - 被称为密集对象网 - 允许机器人检查，视觉理解和操纵他们以前从未见过的物体。

该团队计划于10月在瑞士苏黎世召开的机器人学习会议上展示他们的研究成果。

“许多操纵方法无法识别对象可能遇到的多个方向的特定部分，”该论文的第一作者，博士生Lucas Manuelli在麻省理工学院CSAIL网站上发表的博客文章中表示。“例如，现有的算法无法通过手柄抓住马克杯，特别是如果马克杯可能处于多个方向的情况，如直立或侧面。”

上图：DON帮助机器人手臂拿起鞋子。

图片来源：麻省理工学院CSAIL

DON不是控制系统。相反，它是一种自我监督的深度神经网络 - 分层算法，模仿大脑中神经元的功能 - 经过训练，以精确坐标的形式生成对象的描述。在训练之后，它能够自主地挑选出参考框架，并且当呈现新物体时，将它们一起映射以在三维中可视化它们的形状。

根据研究人员的说法，对象描述符平均需要20分钟才能学习，并且它们与任务无关。也就是说，它们既适用于刚性物体（如帽子），也适用于非刚性物体（长毛绒）玩具）。（在一轮训练中，系统在仅看到六种不同类型之后就学会了帽子的描述。）

此外，尽管对象颜色，纹理和形状存在差异，但描述符仍保持一致，这使得DON在使用RGB或深度数据的模型上占了一席之地。因为后者没有一致的对象表示并且有效地寻找“可抓取的”特征，所以它们在具有甚至轻微变形的对象上找不到这样的点。

上图：DON生成的对象的可视化表示。

图片来源：麻省理工学院CSAIL

“在工厂中，机器人通常需要复杂的零件供料器才能可靠地工作，”Manuelli说。“但是像这样能够理解物体方向的系统可以拍摄照片，并能够相应地掌握和调整物体。”

在测试中，团队在参考图像中选择了一个像素，供系统自动识别。然后他们使用Kuka手臂孤立地抓住物品（毛毛虫玩具），特定类别中的物品（不同种类的运动鞋），杂物中的物体（穿着其他鞋子的鞋子）。

在一次演示中，尽管从未在训练数据中看到帽子的照片，机器人手臂设法从一堆类似的帽子中抓出一顶帽子。另一方面，它从一系列配置中抓住了毛毛虫玩具的右耳，证明它可以在对称物体上区分左右。

上图：DON系统和抓住一杯的Kuka机器人的特写镜头。

图片来源：Tom Buehler / MIT CSAIL

“我们观察到，对于各种各样的物体，我们可以获得在视点和配置上一致的密集描述符，”研究人员写道。“各种物体包括适度变形的物体，例如柔软的毛绒玩具，鞋子，马克杯和帽子，并且可以包括非常低质感的物体。其中许多物品都是从实验室周围抓取的（包括作者和同事的鞋子和帽子），我们对各种物体印象深刻，可以用相同的网络架构可靠地学习一致的密集视觉模型。训练。”

该团队认为DON可能在工业环境中很有用（想想物体分类仓库机器人），但它希望开发一个更强大的版本，可以通过“更深入地理解”相应的对象来执行任务。

研究人员写道：“我们认为密集物体网是一种新颖的物体表现形式，可以实现机器人操作的许多新方法。” “我们有兴趣探索解决操纵问题的新方法，这些问题利用了学习密集描述符提供的密集视觉信息，以及[看到]这些密集描述符如何有益于其他类型的机器人学习，例如学习如何掌握，操纵和放置一组感兴趣的物体。“