深度 | BAIR论文:通过“元学习”和“一次性学习”算法,让机器人快速掌握新技能

AI科技评论按:近日伯克利大学人工智能实验室(BAIR)Sergey Levine团队在Arxiv上发布了一篇名为《One-Shot Visual Imitation Learning via Meta-Learning》的论文,该论文将当前AI研究的两个瓶颈即元学习(Meta-Learning)和一次性学习(One-shot learning)相结合,并被CORL(Conference on Robot Learning, 2017)接收,CORL 2017将于今年11月在美国加州山景城举行。

我们都知道,深度学习是在大数据的背景下火起来的,传统的基于梯度的深度神经网络需要大量的数据学习,而绝大多数的深度学习内容否基于大数据量下的广泛迭代训练,当遇到新信息时往往会出现模型失效的情况从而需要重新进行学习。在机器人领域,深度神经网络可以是机器人展示出复杂的技能,但在实际应用中,一旦环境发生变化,从头学习技能并不可行。因此,如何让机器“一次性学习”,即在“看”了一次演示后无需事先了解新的环境场景,能在不同环境中重复工作尤为重要。

研究发现,具有增强记忆能力的架构如神经图灵机(NTMs)可以快速编码和见多新信息,从而起到消除常规模型的缺点。在本论文中,作者介绍了一种元-模拟学习(Meta-Imitation Learning,MIL)算法,使机器人可以更有效学习如何自我学习,从而在一次演示后即可学得新的技能。与之前的单次学习模拟方法不同的是,这一方法可以扩展到原始像素输入,并且需要用于学习新技能的训练数据明显减少。从在模拟平台和真实的机器人平台上的试验也表明了这一点。

目标:赋予机器人在只“看过”一次演示的情况下,学习与新物品互动的能力。

做法:

  • 收集大量任务的Demo;
  • 使用元-模拟学习进行训练;
  • 在未知的新任务中进行测试。

创新内容:在第一个全连接层通过偏差转换增加梯度表现。

模拟测试环节,这一环节使用算法提供的虚拟3D物品进行模拟,MIL比Contexual和LSTM更好地完成了任务。

在实际场景测试环节,该团队设计了一个抓取物品并将其放到指定容器中的任务。从上图我们可以看到,在这一环节用于训练的物品与实际测试的物品无论在形状、大小、纹理上都有着差别,MIL算法同样较好地完成了任务。

「AI科技评论」发现,除了BAIR,Google Deepmind(参见「AI科技评论」之前文章《只训练一次数据就能识别出物体,谷歌全新 AI 算法“单次学习”》)、OpenAI也有在进行关于“一次性学习”的研究。“一次性学习”通常被认为是计算机视觉中的对象分类问题,旨在从一个或仅少数几个训练图像中学习关于对象类别的信息,并且已经成功应用到包括计算机视觉和药物研发在内的具有高维数据的领域。今年5月,OpenAI也发布了类似的在虚拟场景下通过一次性学习,完成堆叠方块等任务的论文。

在《人类的由来》中,达尔文这样写道:“人和其他高等动物在精神上的差异虽然很大,但这种差别肯定只是程度上、而非种类上的差别。”而这些在一次性学习和元学习上的研究也证明,当前的人工智能与未来世界的超级人工智能之间的差异,或许也只是程度上的差异,而非种类上的差异。在深度学习发展的过程中,类似的优化看起来只是一小步,但加速化发展的趋势已经很明显:当你在阅读传统期刊上的论文时,在Arxiv上或许已经出现了新的替代版本。或许在不久之后,创造出更聪明、具有适应力的实用机器人并不是难事。

论文地址:https://arxiv.org/pdf/1709.04905.pdf

视频演示及更多详细说明:https://sites.google.com/view/one-shot-imitation

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2017-09-20

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏ATYUN订阅号

DeepMind研究:测试神经网络的抽象推理

机器能学会抽象推理吗?这是谷歌子公司DeepMind发表的一篇新论文的主题,题为“Measuring abstract reasoning in neural ...

1084
来自专栏CreateAMind

用DNN构建推荐系统-Deep Neural Networks for YouTube Recommendations论文精读

虽然国内必须翻墙才能登录YouTube,但想必大家都知道这个网站。基本上算是世界范围内视频领域的最大的网站了,坐拥10亿量级的用户,网站内的视频推荐自然是一个非...

2103
来自专栏数值分析与有限元编程

迭代法计算结构的自振频率

迭代法用于求矩阵的最大特征值,逆迭代法用于求矩阵的最小特征值,矩阵特征值与自振频率之间的关系为 ω= √λ / (2*π) 一般来说,一个结构有多少个质量...

2495
来自专栏量子位

详解个性化推荐五大最常用算法

允中 若朴 编译自 Stats&Bots 量子位 出品 | 公众号 QbitAI ? 推荐系统,是当今互联网背后的无名英雄。 我们在某宝首页看见的商品,某条上读...

3635
来自专栏应兆康的专栏

11. 什么时候更改开发/测试集和评估指标

当开始一个新项目的时候,我会试图快速的选择开发/测试集,因为这样可以给团队一个很明确的目标。 我通常会要求我的团队在不到一周的时间内(几乎不会超过这个时间)提供...

3627
来自专栏AI科技大本营的专栏

直播课程 | TensorFlow工程大咖带你由浅入深玩转深度学习算法

王琛老师有话说 ? 《深度学习基础与TensorFlow实践》 AI100学院有幸邀请到《深度学习原理与TensorFlow实践》作者之一、百纳信息公司AI...

3526
来自专栏智能算法

关于深度学习的框架、特征和挑战

在嵌入式系统上的深度学习 随着人工智能 (AI) 几乎延伸至我们生活的方方面面,主要挑战之一是将这种智能应用到小型、低功耗设备上。这需要嵌入式平台,能够处理高性...

3247
来自专栏机器之心

自动「脑补」3D环境!DeepMind最新Science论文提出生成查询网络GQN

作者:S. M. Ali Eslami、Danilo Jimenez Rezende

900
来自专栏AI科技大本营的专栏

课程 | 工程大咖带你入门深度学习+TensorFlow

《深度学习基础与TensorFlow实践》 AI100学院有幸邀请到《深度学习原理与TensorFlow实践》作者之一、百纳信息公司AI方向负责人王琛老师6月...

3295
来自专栏PPV课数据科学社区

【推荐】开发者成功使用机器学习的十大诀窍

作者|Alexander Gray 编译|刘帝伟 转自|CSDN 在提供发现埋藏数据深层的模式的能力上,机器学习有着潜在的能力使得应用程序更加的强大并且更能响应...

2253

扫码关注云+社区