专栏首页量子位谷歌新论文:让机器人依靠视觉识别抓取特定物体

谷歌新论文:让机器人依靠视觉识别抓取特定物体

安妮 编译自 arXiv 量子位出品 | 公众号 QbitAI

近日,谷歌团队在arXiv上发布了新论文《End-to-End Learning of Semantic Grasping》,这篇文章由谷歌成员Eric Jang、Sudheendra Vijayanarasimhan、Julian Ibarz、Sergey Levine和Peter Pastor五人共同完成。

量子位选取论文中关键信息,编译整理分享给大家。

实验介绍

这篇论文首先讨论了机器人的语义抓取任务,即机器人借助单目图像抓取用户指定类别的相应物体。受视觉神经处理模型中双流假说的启发,研究人员提出了一种语义抓取框架,它允许用端对端的方式学习物体识别、分类并设计抓取路线。

工作人员根据用户指定,将测试用的杂物分为16类

受双流假说的启发,研究人员将模型分为“腹流”和“背流”。

背流(绿色)与腹流(紫色)源于视觉皮层的同一区域/维基百科

在这个模型中,腹流负责识别物体类别,背流同时解释正确抓取所需的几何图形关系。测试人员利用机器人自主数据采集能力获取了大量自监督数据集来训练背流,并用半监督学习中的标签传播算法训练腹流,同时佐以适当的人力监督。

受双流假设的影响,将模型分为了腹流和背流

论文用实验方法展示了改进后的抓取系统方法。当然这不仅仅包含端对端内容,还包括用边界框检测的基线处理方法。不仅如此,还展示了用辅助数据、无语义抓取数据和无掌握操作以及语义标记图像共同训练的模型,这可能会大大提高语义抓取性能。

实验所用的机器人手臂,具有两只手指和单目图像相机

实验结果

在本次实验中,通过让机器人在不同类别的物体中,抓取随机指定的五个物体来评估机器人的语义抓取能力。每次实验重复10次,抓取的物体包含一组30个训练对象和30个未经测试对象。研究人员通过基线比较证明各种架构在决策语义抓取模型中的作用。

对比实验结果统计表

本实验的结果可总结为如下6点:

1)端对端的语义抓取优于传统的检测分类方法

2)双流语义分解预测优于单流模型

3)分离架构的理解能力胜过双支路架构

4)9层含attention的CNN表现胜过16层无attention的CNN

5)辅助语义数据能够增强双流架构的分类表现

6)反映物体分布的辅助语义数据提高了分类抓取的准确性

最后,附上论文地址:

https://arxiv.org/abs/1707.01932

本文分享自微信公众号 - 量子位(QbitAI),作者:专注报道AI

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-07-10

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Caffe2正式发布!新框架有何不同?贾扬清亲自解答

    王新民 若朴 发自 凹非寺 量子位 报道 | 公众号 QbitAI ? △ 图左为Caffe2作者贾扬清 今天凌晨召开的F8大会上,Facebook正式发布C...

    量子位
  • 受婴儿抓阄启发,谷歌让机器臂自学抓取物体,不用标注数据

    谷歌大脑让AI更像儿童了,至少在对象识别和感知方面是这样。最近,他们和加州大学伯克利分校的学生研究了一种算法Grasp2Vec,通过观察和操纵来“学习”物体的特...

    量子位
  • MIT团队把机器学习引入老年痴呆测试:一支数码笔一分钟搞定

    △ 时钟绘图测试 王新民 编译整理自MIT News 量子位·QbitAI 出品 好消息,世界各地人民的平均寿命越来越长了。 坏消息,阿尔茨海默病患者会越来越多...

    量子位
  • 【python爬虫】scrapy框架笔记(一):创建工程,使用scrapy shell,xpath

    scrapy是个好东西,它的官方文档写的很详细,很适合入门。链接:http://scrapy-chs.readthedocs.io/zh_CN/1.0/inde...

    后端技术漫谈
  • Huggingface 预训练模型权重下载的问题

    Hugging face是一个专注于NLP的公司,拥有一个开源的预训练模型库Transformers ,里面囊括了非常多的模型例如 BERT GPT 等

    mathor
  • 3-6 读写二进制文件

    在前面两节,读写的文件都是针对文本文件。这一节,重点讲述二进制文件的读写。什么是二进制文件呢?

    py3study
  • webview添加参数与修改请求头的user-agent实例

    最近公司项目需求,在项目中嵌入h5页面,一般原生,看着感觉跟往常一样,一个地址就完全ok了,如果是这样那就没有这个博文的必要了!

    砸漏
  • 【JS】376- Axios 使用指南

    1、 利用npm安装npm install axios --save 2、 利用bower安装bower install axios --save 3、 直接利...

    pingan8787
  • 【收藏干货】axios配置大全

    //当实例创建时候修改配置 instance.defaults.headers.common["Authorization"] = AUTH_TOKEN; 3、...

    super.x
  • 总结 | 邹炎炎:语义分析介绍及跨语言信息在语义分析中的应用

    AI 科技评论按:语义分析(semantic parsing)是人工智能的一个分支,是自然语言处理技术的几个核心任务,涉及语言学、计算语言学、机器学习,以及认知...

    AI科技评论

扫码关注云+社区

领取腾讯云代金券