解析 AlphaGo Zero 突破性成功的密码

DeepMind 的 AlphaGo Zero 的研究成果终于应约而至，大家均为之惊叹。从一大早到晚上，有不少人来自工业界、学术界，比如上海交大的 Liu Kent、帝国理工的 L 兄、UCL 的朋友等问起一些关于 DeepMind 最新 AlphaGo Zero 的为何能够取得突破的问题，决定写文简单分享一下自己的看法。

一句话概括就是 DeepMind 整体对强化学习的深入探究指导了 Zero 的设计。

首先很感谢 DeepMind 团队对人类关于围棋认知的贡献。但更令人兴奋的是，人工智能技术能够取得的成就已经让人类感到震惊。相信不久的未来来自全球各地的团队会带来越来越多的全新体验和认知升级。

理念层面，我觉得 DeepMind 对事物本质的探求是其不断突破天花板的源泉。抓住一个小小的口子，比如 DQN 上的突破，将整个领域切开，迅速找到能够解决得很好的问题，逐步形成更深的领域认知。大多数设计者对于围棋这款游戏是充满的热情和好奇的。

AlphaGo 的能力决定因素有几点：蒙特卡洛树搜索 MCTS、Reinforement Learning 及 Deep Learning。用于近似的神经网络也能够受益于深度学习飞速发展不断进步。随着层次和结构的复杂，网络的表达能力已经在很多任务上超过人类最佳水平。比如 ImageNet 任务的ResNet。

RL 技术历史悠远，但近来的发展同样喜人。来自各个方向的学者贡献了大量的创新思路。有些是将几十年前的论文思想发展，有些也是新人老人结合产生的突破。

除了软件和算法的进步，硬件设施的针对性的调整确实也能够让模型训练变得更加快速。

下面看看具体的点，

First and foremost, it is trained solely by self-play reinforcement learning, starting from random play, without any supervision or use of human data.

这次的算法更加像是传统的强化学习模型，直接通过 trial-and-error 进行学习，而不需要人类的经验数据。这可能是最关键的突破点。怎么去自我对弈，这也是很有讲究的。其中的奥妙就是算法设计的精妙之处，比如说在德州扑克中的一些 self-play 的方法。

Second, it only uses the black and white stones from the board as input

选择黑白子作为输入

Third, it uses a single neural network, rather than separate policy and value networks.

这里的影响应该不大，但是也需要解决一些问题，或者说这样的处理就是更为直接的结构，我们去设计算法的时候觉得理解方便的模型，说不定却对真实问题的认知缺乏足够的复杂度的。这里面其实关键是深度学习的模型的能力提升，使得我们可以直接用单个神经网络来刻画原来需要两个网络的特性。

Finally, it uses a simpler tree search that relies upon this single neural network to evaluate positions and sample moves, without performing any MonteCarlo rollouts.

直接通过上述神经网络来评估位置和采样走法，不需要 Monte Carlo 的 rollouts。这对于加快训练肯定是很有帮助的。所以深度学习的发展也还是能够增强 AlphaGo Zero 的网络的表达能力和预测能力。

To achieve these results, we introduce a new reinforcement learning algorithm that incorporates lookahead search inside the training loop, resulting in rapid improvement and precise and stable learning.

lookahead 搜索起到了关键作用。

关键作用几乎全部是算法层面的创新设计。

后记：Solve intelligence 口号背后是依靠着多少科研人员的努力。DeepMind 发出的那些深度强化学习 paper 中蕴含着各种的尝试，最终落地到围棋问题的解决上。相信这套技术对一系列类似的问题会非常有价值。

也祝贺 David Silver 成为 UCL 的 Professor。