DeepMind为明年的AAAI,准备了一份各种DQN的混血

夏乙 编译整理 量子位 出品 | 公众号 QbitAI

?DeepMind公开了一篇最近投递到AAAI 2018的新论文,这篇论文的主角,依然是这家公司四年前就开始研究的DQN,配角,依然是雅达利(Atari)游戏。

DQN,全名Deep Q-Network(深度Q网络),是DeepMind在2013年NIPS Deep Learning Workshop发表论文提出的算法,让计算机有了靠视觉来玩雅达利游戏的新技能。

2015年,DeepMind完善了DQN,让这种算法在雅达利游戏上获得了更好的成绩,登上了Nature封面。

当然,这个算法之后也没有被闲置,DeepMind接连提出了DQN的各种优化版,虽然没有GAN变体那么多,但也足够让人眼花缭乱了。

哪种扩展性能更好?还有什么可以改进的地方?

DeepMind刚刚在arXiv上公开了最近投给AAAI 2018的论文,从DQN的诸多扩展中选择了6种,和原味DQN放在一起做比较了一下性能,还提出了一个新的变体:Rainbow

DeepMind在论文中详细介绍了被选中的这6种扩展,共同点是他们自己都提出过相应的DQN变体。接下来,我们看一下论文中对它们分别做的简要介绍:

  • Double DQN通过解耦选择和引导动作的评估,解决了Q-learning估计偏差过高的问题;
  • 优先体验重播(Prioritized DDQN)通过对能学到更多的过渡进行更多重播,提高了数据效率;
  • 决斗网络架构(Dueling DDQN)通过分别呈现状态值和行为优势,来帮助在不同行为之间泛化;
  • A3C中所用的多步引导目标学习,可以改变方差折衷,将新观察到的奖励传播到早先访问的状态;
  • Distributional Q-learning(Distributional DQN)学习了折扣返回的类别分布,而不是估计平均值;
  • Noisy DQN使用随机网络层进行探索。

要详细了解这六种扩展,可以参考文末列出的论文地址,各取所需。

新变体Rainbow并没有在之前各种扩展的基础上,提出新的改动,而是将前面提到的6种变体整合到一起,成为一个单独的agent。

六种变体的混血Rainbow的性能和各位长辈相比如何呢?

DeepMind在arcade环境中,用57款雅达利2600游戏包括对原始DQN、DDQN、Prioritized DDQN、Dueling DDQN、A3C、Distributional DQN、Noisy DQN,以及Rainbow在内的所有agent进行了测试。

结果显示,Rainbow无论是在数据效能方面,还是在最终结果上,都明显优于各位长辈。

Rainbow与其他DQN变体的性能比较

上图中彩虹色的是混血Rainbow,灰色的是原味DQN。横轴表示训练用的帧数,纵轴表示算法在雅达利游戏上的“人类标准中位得分”,也就是agent的得分与中等水平的人类相比,是百分之多少。

用700万帧数据训练的Rainbow,性能就与原始DQN的最佳性能相当;经过44万帧的训练,Rainbow性能就超越了此前所有的DQN变体。

Rainbow的最佳性能与其他变体相比,也有显著的提升。在agent的最终测试中,训练结束后,Rainbow在以随机数开始游戏的模式下,中位得分为223%,在人类开始游戏的模式下,得分为153%。

除了和长辈比较之外,DeepMind还尝试了从Rainbow中分别去掉各种算法组件,看会对性能有怎样的影响。

Rainbow和缺失各种组件之后的性能比较

总的来说,去掉决斗网络或者Double Q-learning对Rainbow的性能没有多大影响。不过,将各个游戏分开来分析,我们可以看出,不同的游戏对于组件的需求不太一样。

缺失各种组件在不同游戏上对agent性能的影响

另外,DeepMind还记录了这些agent究竟有多少种游戏能超过中等水平人类。

Rainbow及其他DQN变体得分超过普通人类20%、50%、100%、200%、500%(从左到右)的游戏数目

上图第一行,是Rainbow与各种DQN变体的比较,第二行,是从Rainbow中分别去掉各种组件对agent性能的影响。

附:各种DQN论文

刚刚提交给AAAI 2018的Rainbow论文

Rainbow: Combining Improvements in Deep Reinforcement Learning

Matteo Hessel, Joseph Modayil, Hado van Hasselt, Tom Schaul, Georg Ostrovski, Will Dabney, Dan Horgan, Bilal Piot, Mohammad Azar, David Silver

https://arxiv.org/abs/1710.02298

2013年DQN首次提出

Playing Atari with Deep Reinforcement Learning

Volodymyr Mnih, Koray Kavukcuoglu, David Silver, Alex Graves, Ioannis Antonoglou, Daan Wierstra, Martin Riedmiller

https://arxiv.org/abs/1312.5602

2015年的Nature论文

Human-level control through deep reinforcement learning

Volodymyr Mnih, Koray Kavukcuoglu, David Silver, Andrei A. Rusu, Joel Veness, Marc G. Bellemare, Alex Graves, Martin Riedmiller, Andreas K. Fidjeland, Georg Ostrovski, Stig Petersen, Charles Beattie, Amir Sadik, Ioannis Antonoglou, Helen King, Dharshan Kumaran, Daan Wierstra, Shane Legg & Demis Hassabis

https://storage.googleapis.com/deepmind-media/dqn/DQNNaturePaper.pdf

Double DQN

Deep Reinforcement Learning with Double Q-learning

Hado van Hasselt, Arthur Guez, David Silver

https://arxiv.org/abs/1509.06461

Prioritized DDQN

Prioritized Experience Replay

Tom Schaul, John Quan, Ioannis Antonoglou, David Silver

https://arxiv.org/abs/1511.05952

Dueling DDQN

Dueling Network Architectures for Deep Reinforcement Learning

Ziyu Wang, Tom Schaul, Matteo Hessel, Hado van Hasselt, Marc Lanctot, Nando de Freitas

https://arxiv.org/abs/1511.06581

A3C

Asynchronous Methods for Deep Reinforcement Learning

Volodymyr Mnih, Adrià Puigdomènech Badia, Mehdi Mirza, Alex Graves, Timothy P. Lillicrap, Tim Harley, David Silver, Koray Kavukcuoglu

https://arxiv.org/abs/1602.01783

Distributional DQN

A Distributional Perspective on Reinforcement Learning

Marc G. Bellemare, Will Dabney, Rémi Munos

https://arxiv.org/abs/1707.06887

Noisy DQN

Noisy Networks for Exploration

Meire Fortunato, Mohammad Gheshlaghi Azar, Bilal Piot, Jacob Menick, Ian Osband, Alex Graves, Vlad Mnih, Remi Munos, Demis Hassabis, Olivier Pietquin, Charles Blundell, Shane Legg

https://arxiv.org/abs/1706.10295

原文发布于微信公众号 - 量子位(QbitAI)

原文发表时间:2017-10-10

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏腾讯Bugly的专栏

比章鱼保罗还准 预测 AI 之欧洲杯预测

提起章鱼保罗,无人不知。在2008欧洲杯和2010世界杯两届大赛中,章鱼保罗预测赛果14次,成功13次,成功率92.9%。 但不幸的是,2010年,万众敬仰的章...

54412
来自专栏SeanCheney的专栏

三本关于机器学习和深度学习的书

这几本在Amazon上的排名都非常高,最近特别火的书。 第一本:《用Scikit-Learn和TensorFlow实践机器学习》(Hands-On Machi...

4066
来自专栏专知

【论文推荐】最新7篇聊天机器人(Chatbot)相关论文—触动你的心、DeepProbe、饮食推荐、知识学习、交互、挑战、管理

【导读】专知内容组整理了最近七篇聊天机器人(Chatbot)相关文章,为大家进行介绍,欢迎查看! 1. Touch Your Heart: A Tone-awa...

6815
来自专栏新智元

【Github2.2K星】PyTorch资源列表:450个NLP/CV/SP、论文实现、教程、示例

https://github.com/bharathgs/Awesome-pytorch-list

2061
来自专栏智能算法

细数 20 世纪最伟大的十大算法

英文:Barry A. Cipra 译者:JULY 链接:blog.csdn.net/v_july_v/article/details/6127953 发明...

36410
来自专栏数据结构与算法

BZOJ 2940: [Poi2000]条纹(Multi-Nim)

Description     条纹游戏是一个双人的游戏。所需要的物品有一个棋盘以及三种颜色的长方形条纹,这三种颜色分别是红色、绿色和蓝色。所有的红色条纹的尺...

3915
来自专栏海天一树

LDA处理文档主题分布

这篇文章主要是讲述如何通过LDA处理文本内容TXT,并计算其文档主题分布。 在了解本篇内容之前,推荐先阅读相关的基础知识: LDA文档主题生成模型入门 结巴中文...

1713
来自专栏新智元

【最全干货】机器视觉的资料整理

机器视觉和图像处理的研究工作,有两个好方法: 1、把握国际最前沿的内容,解决方法是找到这个方向公认成就最高的几个超级专家 2、所做的工作具备很高的实用性,解决方...

4425
来自专栏用户3246163的专栏

3.2 利率相关产品

CF(receive FRA) value = L * (FRA-R)*(T2-T1)

5623
来自专栏专知

【Github2.2K星】PyTorch资源列表:450个NLP/CV/SP、论文实现、教程、示例

【导读】bharathgs在Github上维护整理了一个PyTorch的资源站,包括论文、代码、教程等,涉及自然语言处理与语音处理、计算机视觉、机器学习、深度学...

1541

扫码关注云+社区

领取腾讯云代金券