【出售波士顿动力后,谷歌机器人进展】瞄准自主机器学习新方向

【新智元导读】在教会机器人理解人类行为方面,谷歌都有哪些进展?谷歌研究院的博客带来近期研究总结,他们的做的方向有三个:使用深度视觉特征理解人类行为展示、使用自监督和模仿学习模拟人体运动以及理解语义,抓握物体。

Alphabet 出售波士顿动力引发多轮轰动。不过,谷歌仍然在研究机器人。放弃波士顿动力谷歌在机器人方向上有什么进展?

机器学习可以使机器人获得复杂的技能,比如做出抓握和打开门等动作。然而,学习这些技能需要我们手动编制让机器人进行优化的奖励函数。相比之下,人能够通过观察别人的行为来理解任务的目标,或者只要告诉一个人要完成的目标是什么就行了,这是因为人拥有对世界的先验知识。

这些先验知识都是语义概念(semantic concept)。谷歌大脑在他们今天发表在 Google Research 的博文中,盘点了他们教机器人结合经验(experience)和人工标记的数据来进行学习的工作。其中,经验是机器人自主收集的,有很多,但缺乏人工标签,含有很多噪音;而人工标记数据则很干净,有助于机器人了解语义。

使用深度视觉特征理解人类行为展示

首先介绍的是论文《用于模仿学习的无监督感知奖励》( Unsupervised Perceptual Rewards for Imitation Learning),作者的目标是使机器人在只看到少量未标记的人类行为展示后,理解一项任务,比如打开一扇门。通过分析这些展示的动作,机器人必须理解构成任务成功的语义主要事件,然后使用强化学习来执行。

在非常小的数据集上进行无监督学习是机器学习中最具挑战性的场景之一。作者使用的深度视觉特征来自一个用于在 ImageNet 上进行图像识别大规模图像识别网络。研究人员已经知道,这种特征对于语义概念十分敏感,同时对诸如外观和照明等干扰变量不敏感。作者使用这些特征来解释人类提供的动作示范,并通过实验表明,机器人能从几个示例中,无需再培训就能以无监督的方式学习奖励函数。

使用自监督和模仿学习模拟人体运动

第二篇论文是《时间对比网络:从多视角观察中进行自我监督学习》(Time-Contrastive Networks: Self-Supervised Learning from Multi-View Observation)。在这里,作者提出了一种从观察中学习世界的新方法,并通过自我监督的姿态模拟证明了这一点。论文作者使用的方法主要依靠时间和空间上同时发生的监督学习:通过训练机器人学会区分视频在不同时期的帧,让机器人学会了将现实分解和重新组织成有意义的抽象表示(abstract representations)。

例如,在模拟姿势的任务中,人或机器人身体的不同关节可以被编码成不同维度的表示。作者没有手动去定义人与机器人关节之间的映射(本来就很难清晰划分),而是让机器人学习以端到端的方式去模拟。作者表示,当模型同时使用人体和机器人数据进行训练时,即使没有提供任何对应关系,系统也能自动发现两者之间的对应关系。因此,研究人员开发出一种能够通过直接的观察,自动模仿人类姿势的机器人。

理解语义,抓握物体

除了将完成任务的过程展示给机器人看,谷歌研究人员还进行其他探索——直接将目标告诉机器人,看机器人能够完成任务。这需要机器人了解语义,能够识别世界中哪些物体与人类指定的语义类别相对应。

在论文《End-to-End Learning of Semantic Grasping》中,谷歌研究人员将手动标记数据和机器人自动收集的数据结合起来作为训练数据,训练机器人执行抓握任务。其中,机器人必须从装有各种物体的箱子中,准确抓取用户指定的物体,比如“橡皮擦”或“玩具”。具体过程见视频:

未来的工作

上述实验表明,可以把有限的语义标签数据和那些由机器人自动收集和标记的数据结合起来作为训练数据,让机器人能够理解事件、物体类别和人类演示的动作行为。

将来,我们可以想象,机器人系统能使用用户注释的数据和自主收集的数据集进行训练,这一方面提高了机器人的性能,也减轻设计自主机器人的工程负担。此外,随着机器人系统在现实世界中收集的自动注释数据越来越多,这些数据不仅可以用于改进机器人系统,还可以用于改进计算机视觉、语音识别和自然语言处理的系统,这些系统都可以从这样大的辅助数据源受益。

此前已经有很多自然语言理解、机器人感知,抓握和模仿学习的工作考虑在机器人系统中结合语义和行为。不过,谷歌实验的特点在于指出了这样一种可能,那就是未来在自主机器人系统中,结合自我监督学习(机器人自主收集数据)和人工标签数据。

编译来源:https://research.googleblog.com/2017/07/teaching-robots-to-understand-semantic.html

原文发布于微信公众号 - 新智元(AI_era)

原文发表时间:2017-07-22

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏专知

381页机器学习数学基础PDF下载

【导读】近期,由Marc Peter Deisenroth,A Aldo Faisal和Cheng Soon Ong撰写的《机器学习数学基础》“Mathemat...

1.5K40
来自专栏AI科技评论

技术大牛带你走向机器学习“正道”:小朋友才迷信算法,大人们更重视工程实践

AI科技评论按:“算法”这两字在人工智能圈已然成为“高大上”的代名词,由于不少在校生和职场新人对它过度迷恋,多名 AI 资深人士均对这一现象表示担忧。李开复曾这...

39030
来自专栏人工智能快报

科学家研制出具有更好自学能力的计算机

物理研究门户网站phys.org发文称科学家开发出了一种基于神经启发的模拟计算机,它能够在执行任务时通过自我训练将自己变得更好。这个基于一种名为“储备池计算”的...

28460
来自专栏奇点大数据

2018年度人工智能技术趋势

“人工智能”一词最初是在1956 年Dartmouth学会上提出的。人工智能(Artificial Intelligence),英文缩写为AI,是研究、开发用于...

12620
来自专栏PPV课数据科学社区

☞【PPT】数据挖掘方法及案例介绍

1、数据挖掘的引入 面对山一样高的,海一样广的数据,我们该怎么办? ? 数据挖掘中的5W问题 ❶为什么要使用数据挖掘? ❷数据挖掘是什么? ❸谁在使用数据挖掘?...

470120
来自专栏人工智能

每个人都应该知道的十个机器学习常识

当别人在高谈阔论机器学习时,你却插不上嘴,这是一种怎样的体验?不懂机器学习没有关系,但你一定要知道下面的十个机器学习基本常识。曾经在Endeca、谷歌和Link...

21550
来自专栏专知

35页自然语言处理深度学习综述,带你纵览NLP知识全貌

【导读】随着深度学习技术的蓬勃发展,自然语言处理领域也是日新月异,本文为大家带来了最新的基于深度学习的自然语言处理综述,希望能够帮助大家了解NLP领域中的最新进...

71620
来自专栏新智元

DeepMind 升级深度强化学习,仅10小时训练16个机器人灵活操纵物体

【新智元导读】DeepMind 研究人员改进深度确定策略梯度算法,在虚拟环境中训练机械臂叠协同完成堆叠积木的任务,每架机械臂的结果都被用于改进核心算法,10个小...

39560
来自专栏机器之心

机器学习中的数学,这是一份新鲜出炉的热门草稿

作者:Marc Peter Deisenroth、A Aldo Faisal、Cheng Soon Ong

14240
来自专栏CVer

381页机器学习数学基础PDF下载

【导读】近期,由Marc Peter Deisenroth,A Aldo Faisal和Cheng Soon Ong撰写的《机器学习数学基础》“Mathemat...

29130

扫码关注云+社区

领取腾讯云代金券