DeepMind发布新论文：嘈杂网络让智能体成为游戏大咖

安妮 编译自 ArXiv 量子位出品 | 公众号 QbitAI

近日，谷歌DeepMind团队的Meire Fortunato、Mohammad Gheshlaghi Azar、Bilal Piot等12人在ArXiv上发表了一篇新论文，主要探索了嘈杂网络(Noisy Networks, NoisyNet)以及在游戏中应用的表现。

量子位将论文中部分内容整理编译，与大家分享。

论文摘要

本文提出了NoisyNet，一种权重中增加了参数噪声的深度强化学习智能体，也证明了这种智能体策略的诱导随机性可被用来辅助有效探索。在NoisyNet中，噪声参数随着剩余网络权重一起学习梯度下降。

研究人员发现，用NoisyNet替代A3C、DQN、Dueling等算法智能体中的传统启发式探索，在多数Atari游戏中得分更高，一些情况下它也会胜过人类的表现，并且几乎没有额外的计算成本。

游戏大咖

研究人员用Atari的57个游戏对NoisyNet进行测试，并对比A3C、DQN和Dueling三种智能体的NoisyNet变体和基线对比结果。

△ 三种智能体的NoisyNet变体和基线的表现性能比较

在上面的图中，横轴罗列了57个游戏，纵轴显示了表现性能的增长幅度，而图中能显示出来的最大增长幅度为250%。

值得注意的是，在NoisyNet-A3C变体的表现性能提升最为显著，在四个游戏中的性能提升均大于250%。

将上面的57个游戏的性能表现汇总，可以得出三种智能体的NoisyNet变体的整体数据。

△ 整体数据图

可以看出，三种变体的性能平均值及中值都大大优于原始基线。

最后，附论文下载地址：

https://arxiv.org/abs/1706.10295