预热 | 英特尔通过预测变量实现策略性强化学习,夺冠 Doom 游戏竞赛(ICLR 2017)

AI科技评论按:ICLR 2017 将于4月24-26日在法国土伦举行,届时AI科技评论的编辑们也将前往法国带来一线报道。在这个深度学习会议举办之前,AI科技评论也将围绕会议议程及论文介绍展开一系列的覆盖和专题报道。

尽管目前强化学习(Reinforcenment learning)已经取得了重大的进展,但是依然存在两个关键性挑战。

  • 一个是在复杂和动态的三维环境下从原生的感觉输入中实现感觉运动控制

(Sensorimotor control),以实现直接从经验中进行学习;

  • 另一个则是获得可以灵活部署以实现大量动态目标任务的通用技能。

来自英特尔实验室(Intel Labs)的两名研究员提出了一种旨在辅助进步的感觉运动控制方法,以克服强化学习的两大挑战。以下为AI科技评论对其论文部分内容的编译。

论文摘要

来自英特尔实验室(Intel Labs)的两名研究员Alexey Dosovitskiy和Vladlen Koltum提出了一种在沉浸式环境中实现感觉运动控制(Sensorimotor control)的方法。据悉,该方法有效地综合利用了高维度的感官流(high-dimensional sensory stream)和较低维度的测量流(lower-dimensional measurement stream)。

  • 图1:网络结构。s表示图像数据,m表示测量,g表示目标。s,m,g首先通过三个输入模块分别进行处理。然后这些输入模块的输出结果将被连接成一个联合表示j。之后联合表示j被送入了两个并行的计算流进行单独处理,这两个计算流分别用于预测测量期望E(j)和归一化动作条件差异。最后两个计算流的输出将被组合到一起以获得针对每个动作的最终预测。

这些流的时间结构提供了丰富的监控信号,这使得可以通过与环境交互的方式训练运动控制模型。该模型通过监督学习技术进行训练,但是没有用到外部监督。它从来自于复杂三维环境的原始感官输入中学习动作。该方案使得模型在训练过程中不用设定固定的学习目标,并且在测试的时候可以探索动态变化的目标。

据悉,研究员们在经典的第一视角游戏——Doom所提供的的三维模拟环境中进行了大量的实验。而实验结果表明,英特尔实验室研究员所提出的方法优于先前提出的其它复杂方法,这一点在具有挑战性的任务中体现得更加明显。实验结果还表明训练好的模型在环境与目标之间具有很好的泛化能力。除此之外,通过该方法训练出来的模型还赢得了Full Deathmatch track of the Visual Doom AI Competition的胜利,该竞赛是在一个对于模型而言完全陌生的环境下举办的。

论文结果展示

  • 图2:展示了来自于四个场景的样例。D1展示了在一个正方形房间里收集医疗包(“Basic”)。D2展示了在迷宫中收集医疗包并且还要避开毒药(“Navigation”)。D3展示了在迷宫中收集医疗包和弹药并同时攻击敌人(“Battle”)。D4展示了在一个更加复杂的迷宫中收集医疗包和弹药并同时攻击敌人(“Battle 2”)。
  • 图3:不同方法在训练中的表现。DQN,A3C和DFP在基础的场景中都取得了类似的表现结果。但是DFP在其它三个场景中取得的表现结果都超过了另外三个方法。并且在最复杂的两个场景下(D3与D4),DFP的表现结果远远优于另外三个方法。

ICLR评论

ICLR委员会最终决定

评价:这篇论文详细介绍了作者在VizDoom竞赛中获胜的方法。这是一种预测辅助变量的策略性强化学习方法,并且使用了内在动机。同时该方法也是通用价值函数的一种特殊情况。该方法事实上是其它不同策略的一个集合,但是它产生了令人印象深刻的实验结果,并且论文也写的很清晰。

决定:接受(Oral)

令人信服的经验驱动成果

打分:7分:好论文,接受

评价:深度强化学习(在强化学习算法中使用深度神经网络进行函数近似)在解决大规模状态空间下的强化学习问题中已经取得了许多的成功。而这种经验驱动的工作正是建立在这些方法的基础之上进行的。这篇论文介绍了一种新颖的算法,该算法在原生感觉数据(Raw sensory data)的全新3D环境中表现得更好,并且能在目标和环境之间获得更好的泛化能力。值得注意的是,该算法可是Visual Doom AI竞赛的获胜者。

(没有标题)

打分:8分:在所有被接受的论文中排前50%,确定接受

评价:本文提出了一种具有附加辅助内在变量的策略深度强化学习方法。

  • 该方法是一种基于通用价值函数方法的特殊例子,并且作者也在引用中标注出了正确的参考。也许这篇文章最大的技术贡献是提炼了许多现有的方法来解决3D导航问题。我认为论文的贡献应该在摘要中更加详细地论述出来。
  • 我本来希望看到该方法的失败模式。就是在什么情况下该模型会出现改变目标的问题?并且因为这是一种策略性的方法,所以还存在其它的概念问题。比如,如果算法中的代理不在过去的目标上反复进行训练的话,将会出现灾难性的遗忘。
  • 由于本文的主要贡献是整合了几个关键思想并且展示了经验的优势,所以我还希望看到其它领域的测试结果,比如Atari(也许使用ROM作为内在变量)。

总而言之,我认为这篇论文确实展现了利用所提出的潜在公式的明显经验优势,并且本文的实验见解可能对未来的代理研究具有价值。

(没有标题)

打分:8分:在所有被接受的论文中排前50%,确定接受

评论:这篇论文提出了一种策略性方法来预测未来的内在测量。所有的实验都是在名为Doom(更准确来说是vizDoom)的这款游戏上展开的。与一般性地预测游戏输赢或者是游戏得分不同,本文的作者训练了模型来预测一系列的三元组(健康,弹药,得分),并且由作为输入提供的一系列“目标”三元组加权。改变目标三元组的加权是执行/指导探索的一种方式。在测试期间,只能通过最大化长期目标来实现代理的行动。

这个结果令人印象深刻,因为该模型赢得了2016年vizDoom大赛。并且本文的实验部分看起来很合理:

  • 实验中包含了DFP与A3C、DQN方法的比较,而且也尝试了同DSR方法(与本文相类似的一种方法,由Kulkarni等人在2016年提出)进行比较。DFP方法在各个实验中都超越(或者至少也是持平)了其它方法。
  • 有一项消融研究(Ablation study)能够证明文中所有对模型“增加复杂性”的做法都是有效的。

预测内在动机(Singh et al. 2004)、辅助变量和前向建模都是强化学习中有着较好研究成果的领域。我阅读的那个版本(12月4日修订版)中充分参考了以前的工作,虽然还没有做到非常全面。

我认为这篇应该被接受。可能有些人认为该论文的实验可以在不同的环境下进行或者新颖性有限,但是我认为这篇“正确的”并且“里程碑式的”论文应该得到发表。

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2017-04-23

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI科技大本营的专栏

周志华:满足这三大条件,可以考虑不用深度神经网络

出品 | AI科技大本营(公众号ID:rgznai100) AI科技大本营按:4 月 15 日举办的京东人工智能创新峰会上,刚刚上任京东人工智能南京分院学术总顾...

3608
来自专栏机器之心

专访 | 小白也能搭建深度模型,百度EasyDL的背后你知多少

随着机器学习,尤其是深度学习在复杂数据上的表现越来越优秀,很多开发者希望能将其应用到自己的服务或产品中。然而即使是使用预训练模型或开源框架,对于很多不太了解机器...

712
来自专栏人工智能头条

写给大家看的机器学习书【Part1】

2153
来自专栏新智元

【重磅】谷歌第二代深度学习系统TensorFlow首次解密(70PDF下载)

Google资深系统专家Jeff Dean在最近的湾区机器学习大会做了 Large-Scale Deep Learning for Inelligent Com...

2395
来自专栏数据派THU

收藏 | 27个机器学习小抄(附学习资源)

1644
来自专栏人工智能头条

深度学习在推荐领域的应用

894
来自专栏cloudskyme

跟我一起数据挖掘(19)——什么是数据挖掘(2)

什么是数据仓库? 数据仓库是一个面向主题的( Subject Oriented) 、集成的( Integrate) 、相对稳定的(NonVolatile) 、反...

3385
来自专栏算法channel

一文梳理NLP之机器翻译和自动摘要的发展现状

2 NLP入门:CNN,RNN应用文本分类,个性化搜索,苹果和乔布斯关系抽取(2)

1112
来自专栏AI科技评论

面对未知分类的图像,我要如何拯救我的分类器

AI 科技评论按:当训练好的图像分类器遇到了训练数据里不存在的类别的图像时,显然它会给出离谱的预测。那么我们应该如何改进分类器、如何克服这个问题呢?

603
来自专栏AI研习社

百度引入Ring Allreduce算法,大规模提升模型训练速度

美国西部时间2月21日,百度硅谷人工智能实验室(SVAIL)宣布将Ring Allreduce算法引进深度学习领域,这让基于GPU训练的神经网络模型的训练速度显...

4869

扫码关注云+社区