解析 AlphaGo Zero 突破性成功的密码

DeepMind 的 AlphaGo Zero 的研究成果终于应约而至,大家均为之惊叹。从一大早到晚上,有不少人来自工业界、学术界,比如上海交大的 Liu Kent、帝国理工的 L 兄、UCL 的朋友等问起一些关于 DeepMind 最新 AlphaGo Zero 的为何能够取得突破的问题,决定写文简单分享一下自己的看法。

一句话概括就是 DeepMind 整体对强化学习的深入探究指导了 Zero 的设计。

首先很感谢 DeepMind 团队对人类关于围棋认知的贡献。但更令人兴奋的是,人工智能技术能够取得的成就已经让人类感到震惊。相信不久的未来来自全球各地的团队会带来越来越多的全新体验和认知升级。

理念层面,我觉得 DeepMind 对事物本质的探求是其不断突破天花板的源泉。抓住一个小小的口子,比如 DQN 上的突破,将整个领域切开,迅速找到能够解决得很好的问题,逐步形成更深的领域认知。大多数设计者对于围棋这款游戏是充满的热情和好奇的。

AlphaGo 的能力决定因素有几点:蒙特卡洛树搜索 MCTS、Reinforement Learning 及 Deep Learning。用于近似的神经网络也能够受益于深度学习飞速发展不断进步。随着层次和结构的复杂,网络的表达能力已经在很多任务上超过人类最佳水平。比如 ImageNet 任务的ResNet。

RL 技术历史悠远,但近来的发展同样喜人。来自各个方向的学者贡献了大量的创新思路。有些是将几十年前的论文思想发展,有些也是新人老人结合产生的突破。

除了软件和算法的进步,硬件设施的针对性的调整确实也能够让模型训练变得更加快速。

下面看看具体的点,

First and foremost, it is trained solely by self-play reinforcement learning, starting from random play, without any supervision or use of human data.

这次的算法更加像是传统的强化学习模型,直接通过 trial-and-error 进行学习,而不需要人类的经验数据。这可能是最关键的突破点。怎么去自我对弈,这也是很有讲究的。其中的奥妙就是算法设计的精妙之处,比如说在德州扑克中的一些 self-play 的方法。

Second, it only uses the black and white stones from the board as input

选择黑白子作为输入

Third, it uses a single neural network, rather than separate policy and value networks.

这里的影响应该不大,但是也需要解决一些问题,或者说这样的处理就是更为直接的结构,我们去设计算法的时候觉得理解方便的模型,说不定却对真实问题的认知缺乏足够的复杂度的。这里面其实关键是深度学习的模型的能力提升,使得我们可以直接用单个神经网络来刻画原来需要两个网络的特性。

Finally, it uses a simpler tree search that relies upon this single neural network to evaluate positions and sample moves, without performing any MonteCarlo rollouts.

直接通过上述神经网络来评估位置和采样走法,不需要 Monte Carlo 的 rollouts。这对于加快训练肯定是很有帮助的。所以深度学习的发展也还是能够增强 AlphaGo Zero 的网络的表达能力和预测能力。

To achieve these results, we introduce a new reinforcement learning algorithm that incorporates lookahead search inside the training loop, resulting in rapid improvement and precise and stable learning.

lookahead 搜索起到了关键作用。

关键作用几乎全部是算法层面的创新设计。

后记:Solve intelligence 口号背后是依靠着多少科研人员的努力。DeepMind 发出的那些深度强化学习 paper 中蕴含着各种的尝试,最终落地到围棋问题的解决上。相信这套技术对一系列类似的问题会非常有价值。

也祝贺 David Silver 成为 UCL 的 Professor。

原文发布于微信公众号 - UAI人工智能(UniversityAI)

原文发表时间:2017-10-20

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI科技评论

观点 | DOTA 5v5 AI 的亮点不是如何「学」的,而是如何「教」的

AI 科技评论按:我们都已经知道了,OpenAI 的 5v5 DOTA AI 「OpenAI Five」再次完胜人类。美国时间 8 月 5 日星期天下午,Ope...

643
来自专栏新智元

【终极算法】机器学习五大学派,终极算法能否一统江湖

【新智元导读】什么是终极算法?算法已在多大程度上影响我们的生活?本文介绍了著名算法专家,机器学习领域的先驱人物 Pedro Domingos 的新书《终极算法》...

48313
来自专栏人工智能快报

人工智能可预测阿茨海默症病情演变

初创公司利用无监督学习方法开发出预测阿茨海默症进展的系统,可扩展到其他退行性疾病预测,助力精准医学。

1123
来自专栏新智元

【谷歌草绘RNN瞄准超级AI】源自壁画的飞跃,AI 学会归纳抽象概念

【新智元导读】人类自从开始在洞穴的岩壁上画出简单的草图,认知能力就产生了飞跃——归纳抽象的能力大大提高。现在,谷歌的 Magenta 项目也在致力于这一研究。名...

3189
来自专栏人工智能快报

根据达尔文进化论,只有最强人工智能算法才能生存

国际财经媒体Quartz报道,据谷歌和美国“开放人工智能实验室”(OpenAI)的一项研究,类达尔文进化论的神经进化理论可以帮助人工智能算法进化优化。 现代人工...

3669
来自专栏AI研习社

如何优雅地躲避学术地雷 | AI阅读研究所·第1期

策划 / 晋阳 编辑 / 吴璇 数字时代的今天,从各个渠道涌来的各种碎片化信息数不胜数。对于 AI 领域,每天会涌现一大波国内外的技术博文、论文、文档等等。 习...

3546
来自专栏AI科技评论

干货 | 「我的第一次数据科学家实习经历」

AI 科技评论按:「数据科学家」可谓是近几年的一大热门职位,很多学习了数学、信息、计算机相关专业的同学都对它表示跃跃欲试。Admond Lee 学习了物理专业...

1122
来自专栏大数据挖掘DT机器学习

为什么基于机器学习的产品很难见到?

作者:赵国栋,现任中关村大数据产业联盟秘书长,CCF大数据专委委员,北邮特聘导师,著有《大数据时代的历史机遇》一书。 大数据甚嚣尘上了三四年,如今创业不讲机器学...

3806
来自专栏机器之心

AI寒冬将至?「人工智能衰退论」再起,却遭LeCun怒斥

1483
来自专栏BestSDK

微软联手亚马逊发布Gluon,可使用Python API优化神经网络模型

近日、亚马逊AWS和微软共同宣布推出深度学习库Gluon。Gluon为各种水平的深度学习开发人员设计,帮助炼丹师们在云端、App和其他设备上设计原型,创建、训练...

3476

扫码关注云+社区