【出售波士顿动力后，谷歌机器人进展】瞄准自主机器学习新方向

【新智元导读】在教会机器人理解人类行为方面，谷歌都有哪些进展？谷歌研究院的博客带来近期研究总结，他们的做的方向有三个：使用深度视觉特征理解人类行为展示、使用自监督和模仿学习模拟人体运动以及理解语义，抓握物体。

Alphabet 出售波士顿动力引发多轮轰动。不过，谷歌仍然在研究机器人。放弃波士顿动力谷歌在机器人方向上有什么进展？

机器学习可以使机器人获得复杂的技能，比如做出抓握和打开门等动作。然而，学习这些技能需要我们手动编制让机器人进行优化的奖励函数。相比之下，人能够通过观察别人的行为来理解任务的目标，或者只要告诉一个人要完成的目标是什么就行了，这是因为人拥有对世界的先验知识。

这些先验知识都是语义概念（semantic concept）。谷歌大脑在他们今天发表在 Google Research 的博文中，盘点了他们教机器人结合经验（experience）和人工标记的数据来进行学习的工作。其中，经验是机器人自主收集的，有很多，但缺乏人工标签，含有很多噪音；而人工标记数据则很干净，有助于机器人了解语义。

使用深度视觉特征理解人类行为展示

首先介绍的是论文《用于模仿学习的无监督感知奖励》（ Unsupervised Perceptual Rewards for Imitation Learning），作者的目标是使机器人在只看到少量未标记的人类行为展示后，理解一项任务，比如打开一扇门。通过分析这些展示的动作，机器人必须理解构成任务成功的语义主要事件，然后使用强化学习来执行。

在非常小的数据集上进行无监督学习是机器学习中最具挑战性的场景之一。作者使用的深度视觉特征来自一个用于在 ImageNet 上进行图像识别大规模图像识别网络。研究人员已经知道，这种特征对于语义概念十分敏感，同时对诸如外观和照明等干扰变量不敏感。作者使用这些特征来解释人类提供的动作示范，并通过实验表明，机器人能从几个示例中，无需再培训就能以无监督的方式学习奖励函数。

使用自监督和模仿学习模拟人体运动

第二篇论文是《时间对比网络：从多视角观察中进行自我监督学习》（Time-Contrastive Networks: Self-Supervised Learning from Multi-View Observation）。在这里，作者提出了一种从观察中学习世界的新方法，并通过自我监督的姿态模拟证明了这一点。论文作者使用的方法主要依靠时间和空间上同时发生的监督学习：通过训练机器人学会区分视频在不同时期的帧，让机器人学会了将现实分解和重新组织成有意义的抽象表示（abstract representations）。

例如，在模拟姿势的任务中，人或机器人身体的不同关节可以被编码成不同维度的表示。作者没有手动去定义人与机器人关节之间的映射（本来就很难清晰划分），而是让机器人学习以端到端的方式去模拟。作者表示，当模型同时使用人体和机器人数据进行训练时，即使没有提供任何对应关系，系统也能自动发现两者之间的对应关系。因此，研究人员开发出一种能够通过直接的观察，自动模仿人类姿势的机器人。

理解语义，抓握物体

除了将完成任务的过程展示给机器人看，谷歌研究人员还进行其他探索——直接将目标告诉机器人，看机器人能够完成任务。这需要机器人了解语义，能够识别世界中哪些物体与人类指定的语义类别相对应。

在论文《End-to-End Learning of Semantic Grasping》中，谷歌研究人员将手动标记数据和机器人自动收集的数据结合起来作为训练数据，训练机器人执行抓握任务。其中，机器人必须从装有各种物体的箱子中，准确抓取用户指定的物体，比如“橡皮擦”或“玩具”。具体过程见视频：

未来的工作

上述实验表明，可以把有限的语义标签数据和那些由机器人自动收集和标记的数据结合起来作为训练数据，让机器人能够理解事件、物体类别和人类演示的动作行为。

将来，我们可以想象，机器人系统能使用用户注释的数据和自主收集的数据集进行训练，这一方面提高了机器人的性能，也减轻设计自主机器人的工程负担。此外，随着机器人系统在现实世界中收集的自动注释数据越来越多，这些数据不仅可以用于改进机器人系统，还可以用于改进计算机视觉、语音识别和自然语言处理的系统，这些系统都可以从这样大的辅助数据源受益。

此前已经有很多自然语言理解、机器人感知，抓握和模仿学习的工作考虑在机器人系统中结合语义和行为。不过，谷歌实验的特点在于指出了这样一种可能，那就是未来在自主机器人系统中，结合自我监督学习（机器人自主收集数据）和人工标签数据。

编译来源：https://research.googleblog.com/2017/07/teaching-robots-to-understand-semantic.html