专栏首页新智元Google机器臂能抓手帕了,软的硬的都能抓!ICRA 2021已接收

Google机器臂能抓手帕了,软的硬的都能抓!ICRA 2021已接收


新智元报道

来源:Google AI

编辑:LRS

【新智元导读】机械臂抓一个小球、立方体等硬的物体不在话下,但对于手帕这种没有固定形状的就比较难了。Google推出一个应对可变形物体的基准测试,论文已被ICRA 2021接收。

目前机器人相关研究主要是设计机械臂来抓住特定形状的物体,但是很少有抓住可变形状物体(deformable objects)的相关研究。

在变形物体操作中的一个难点是无法知道这个物体内部的参数,例如,对于一个刚性立方体,知道一个固定点相对于其中心的位置足以描述它在三维空间中的形状,但是对一个柔软的物体如丝绸来说,布面上的一个点可以在其他部分移动时保持固定。

这使得感知算法难以描述织物的完整「状态」,特别是在遮挡的情况下。

此外,即使有一个被充分描述的可变形物体,其动力学也是复杂的。这使得在对可变形物体进行某种操作之后,很难预测其未来的状态,通常需要多步(multi-step)规划来达到目标状态。

在 ICRA 2021会议上,Google 发布了一个名为 deformaleravens 的开源模拟基准,对可变形物体操作的研究有极大促进作用。

论文中共设计了12个任务,包括操作电缆、织物和包,还包括一系列模型架构,用于操纵可变形物体,使其达到预期的目标状态。

这些模型架构也能够让机器人重新排列电线来达到目标状态,平滑地使非钢体如织物达到指定形状,或是将物品放入袋子中。

这是第一个包含特定任务的模拟器,在这个任务中机器人必须使用一个袋子来容纳其他物品,这对机器人学习更复杂的相对空间关系提出了关键的挑战。

DeformableRavens 基准数据集

Deformaleravens 扩展了之前Google对重排列对象(rearranging objects)的工作,包括一套12个模拟任务,覆盖一维、二维和三维可变形结构。每个任务都包含一个模拟的 UR5手臂和一个用于捏握的模拟夹钳,并与脚本演示器捆绑在一起,自动收集用于模仿学习的数据。任务随机化分布中项的起始状态,以测试不同对象配置的一般性。

UR5 是一款轻量级、可适应的协作式工业机器人,具有极高的灵活性,可处理中型应用程序。UR5e 的设计是为了无缝集成到广泛的应用程序。UR5e 也提供 OEM 机器人系统,并带有三向示教器(3-position teach pendant)。

为操作任务指定目标对于可变形物体尤其具有挑战性。考虑到它们复杂的动力学和高维配置空间,目标不能像一组刚性物体姿势那样容易确定,并且可能涉及复杂的相对空间关系,比如“将物品放入袋子”。

因此,除了通过分发脚本示范定义的任务之外,我们的基准还包含由目标映像指定的目标条件化任务。对于受目标限制的任务,给定的对象起始配置必须与一个单独的image配对,该映像显示相同对象的所需配置。这种特殊情况的成功取决于机器人是否能够使当前的配置足够接近目标图像中传达的配置。

Goal-Conditioned Transporter Networks 是一个为了补充模拟基准测试中的目标条件化任务,而将目标条件化集成到Google之前发布过的 Transporter Network 架构中,这是一个以行动为中心的模型架构,它通过重新排列深层特征来从视觉输入推断空间位移,很好地适用于刚性对象操作。

该体系结构以当前环境的图像和目标图像作为输入,计算这两个图像的深度视觉特征,然后利用元素乘法结合特征,对场景中的刚性和可变形物体进行相关处理。Transporter 网络结构的一个优点是它保留了视觉图像的空间结构,提供了归纳偏差,将基于图像的目标条件化为一个更简单的特征匹配问题,并利用卷积网络提高了学习效率。

一个涉及目标条件的实例任务如,为了将绿色块放入黄色袋子中,机器人需要学习空间特性,使其能够执行一系列多步骤的动作,以打开黄色袋子的顶部开口,然后将块放入其中。在它把方块放入黄色袋子之后,则成功结束。如果在目标图像中块被放在蓝色袋子中,则需要把块放在蓝色袋子中。

结果表明,Goal-Conditioned Transporter Networks 使agent可以操纵变形结构到灵活指定的配置,而不需要测试时间的视觉锚目标位置。我们还通过在2D 和3D 变形体任务上进行测试,显著扩展了使用 Transporter Networks 操纵变形物体的先前成果。实验结果进一步表明,该方法比传统的基于地面真实位姿和顶点位置的方法具有更高的抽样效率。

例如所学习的策略可以有效地模拟装袋任务,还提供目标图像以便机器人必须推断应该将物品放入哪个袋子。

未来这项工作还有几个可扩展的目标,例如减少观察到的失败模式。例如当机器人拉袋子向上,并导致抓着的东西掉下去时,就失败了。

另一种情况是,机器人将物品放置在包的不规则外表面,导致物品脱落。未来的算法改进可能允许动作以更高的频率运行,这样机器人可以实时作出反应来抵消这些可能的失败情况。

另一个发展领域是使用不需要专家演示的技术来训练基于 Transporter network 的可变形物体操作模型,比如基于实例的控制或基于模型的强化学习。

参考资料:

https://ai.googleblog.com/2021/05/learning-to-manipulate-deformable.html

本文分享自微信公众号 - 新智元(AI_era),作者:新智元

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2021-05-18

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 【Science】机器人从单一演示中学习并相互传授技能,AI迈出统治世界第一步?

    【新智元导读】Science报道,即将举行的 IEEE机器人与自动化国际会议上(IEEE-ICRA)有一项 MIT 的研究,提出了一个可从单一演示中学习多步骤操...

    新智元
  • 机器人抓取的前世今生

    最近两天参观了华为的自动化工厂,了解到机器人抓取在工业中的应用以及未来的前景,备受鼓舞。作为一个搞机器人抓取(grasping)接近八年的老“grasper”...

    机器人网
  • CoRL2018最佳论文:抓取新物体成功率96%的深度强化学习机械臂

    AI 科技评论按:致力于研究机器人与机器学习技术之间互动的新晋学术会议 CoRL 2018 于 10 月 29 日到 31 日在瑞士苏黎世召开。虽然 CoRL ...

    AI科技评论
  • 这是全球首个自适应机械臂:精准抗干扰,应用场景可迁移,斯坦福华人团队打造

    融合力觉、视觉和深度学习等物理及AI技术,还要有通用性、智能程度与完成复杂任务的能力,可以在不确定工作环境中完成出色的工业级表现。

    量子位
  • 业界 | CMU和谷歌联手研制左右互搏的对抗性机器人

    选自IEEE Spectrum 机器之心编译 作者:Evan Ackerman 参与:蒋思源、Smith CMU 和谷歌研究者正在使用基于博弈论和深度学习的对...

    机器之心
  • 国际机器人与自动化大会重点推介的20种创新机器人技术

    最近在瑞典斯德哥尔摩召开的“国际机器人与自动化大会”(ICRA)向世人展示了该领域最新的设计和创意理念,从飞行运输、环保检测、工业制造到休闲生活娱乐,形形色色的...

    机器人网
  • 波士顿动力新品发布会:认识机械狗Spot最新扩展生产线

    迄今为止,全球已拥有400多台Spot,并已成功地在各种恶劣环境中执行了危险任务,例如核电站,海上油田,建筑工地和矿山。客户利用Spot的高级移动性,自治性(自...

    好好学SLAM
  • 面向高精度领域的视觉伺服算法汇总

    视觉伺服是工业上很重要的一个领域,在自动装配、高精配准上应用非常多。针对近两年常见的算法模式,在这里进行了简单的汇总。

    3D视觉工坊
  • 面向高精度领域的视觉伺服算法汇总

    视觉伺服是工业上很重要的一个领域,在自动装配、高精配准上应用非常多。针对近两年常见的算法模式,在这里进行了简单的汇总。

    计算机视觉

扫码关注云+社区

领取腾讯云代金券