解析 AlphaGo Zero 突破性成功的密码

DeepMind 的 AlphaGo Zero 的研究成果终于应约而至,大家均为之惊叹。从一大早到晚上,有不少人来自工业界、学术界,比如上海交大的 Liu Kent、帝国理工的 L 兄、UCL 的朋友等问起一些关于 DeepMind 最新 AlphaGo Zero 的为何能够取得突破的问题,决定写文简单分享一下自己的看法。

一句话概括就是 DeepMind 整体对强化学习的深入探究指导了 Zero 的设计。

首先很感谢 DeepMind 团队对人类关于围棋认知的贡献。但更令人兴奋的是,人工智能技术能够取得的成就已经让人类感到震惊。相信不久的未来来自全球各地的团队会带来越来越多的全新体验和认知升级。

理念层面,我觉得 DeepMind 对事物本质的探求是其不断突破天花板的源泉。抓住一个小小的口子,比如 DQN 上的突破,将整个领域切开,迅速找到能够解决得很好的问题,逐步形成更深的领域认知。大多数设计者对于围棋这款游戏是充满的热情和好奇的。

AlphaGo 的能力决定因素有几点:蒙特卡洛树搜索 MCTS、Reinforement Learning 及 Deep Learning。用于近似的神经网络也能够受益于深度学习飞速发展不断进步。随着层次和结构的复杂,网络的表达能力已经在很多任务上超过人类最佳水平。比如 ImageNet 任务的ResNet。

RL 技术历史悠远,但近来的发展同样喜人。来自各个方向的学者贡献了大量的创新思路。有些是将几十年前的论文思想发展,有些也是新人老人结合产生的突破。

除了软件和算法的进步,硬件设施的针对性的调整确实也能够让模型训练变得更加快速。

下面看看具体的点,

First and foremost, it is trained solely by self-play reinforcement learning, starting from random play, without any supervision or use of human data.

这次的算法更加像是传统的强化学习模型,直接通过 trial-and-error 进行学习,而不需要人类的经验数据。这可能是最关键的突破点。怎么去自我对弈,这也是很有讲究的。其中的奥妙就是算法设计的精妙之处,比如说在德州扑克中的一些 self-play 的方法。

Second, it only uses the black and white stones from the board as input

选择黑白子作为输入

Third, it uses a single neural network, rather than separate policy and value networks.

这里的影响应该不大,但是也需要解决一些问题,或者说这样的处理就是更为直接的结构,我们去设计算法的时候觉得理解方便的模型,说不定却对真实问题的认知缺乏足够的复杂度的。这里面其实关键是深度学习的模型的能力提升,使得我们可以直接用单个神经网络来刻画原来需要两个网络的特性。

Finally, it uses a simpler tree search that relies upon this single neural network to evaluate positions and sample moves, without performing any MonteCarlo rollouts.

直接通过上述神经网络来评估位置和采样走法,不需要 Monte Carlo 的 rollouts。这对于加快训练肯定是很有帮助的。所以深度学习的发展也还是能够增强 AlphaGo Zero 的网络的表达能力和预测能力。

To achieve these results, we introduce a new reinforcement learning algorithm that incorporates lookahead search inside the training loop, resulting in rapid improvement and precise and stable learning.

lookahead 搜索起到了关键作用。

关键作用几乎全部是算法层面的创新设计。

后记:Solve intelligence 口号背后是依靠着多少科研人员的努力。DeepMind 发出的那些深度强化学习 paper 中蕴含着各种的尝试,最终落地到围棋问题的解决上。相信这套技术对一系列类似的问题会非常有价值。

也祝贺 David Silver 成为 UCL 的 Professor。

原文发布于微信公众号 - UAI人工智能(UniversityAI)

原文发表时间:2017-10-20

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据文摘

干货 | 北大林作铨教授:从事AI研究30年,我如何看待人工智能

1532
来自专栏机器人网

5份AI经典书单:人工智能学习参考书

《科学+遇见人工智能》李开复、张亚勤、张首晟等20余位科学家与投资人共同解读AI革命

774
来自专栏腾讯技术工程官方号的专栏

腾讯Angel亮相VLDB,携全新Angel 2.0宣布加入LF深度学习基金会

? 北京时间8月27日,全球数据库三大顶级会议之一——VLDB(Very Large Data Bases Conferences)在巴西里约热内卢召开。腾讯...

10.3K7
来自专栏专知

【下载】 TensorFlow:实战Google深度学习框架

【导读】“深度学习”这个词在过去的一年之中已经轰炸了媒体、技术博客甚至到朋友圈。这也许正是你会读到本书的原因之一。数十年来,人工智能技术虽不断发展,但像深度学习...

54914
来自专栏人工智能头条

Yann LeCun:深度学习硬件前瞻

1205
来自专栏悦思悦读

美国大学数据科学(Data Science)教育实践

本文作者:李琦,现任北肯塔基大学(North Kentucky University)计算机系(Computer Science)数据科学(Data Scien...

2031
来自专栏新智元

谷歌实习博士访谈:我终于拥有了在大学实验室梦寐以求的算力

【新智元导读】正在谷歌实习的慕尼黑工业大学博士在读生 Philip Haeusser 的研究领域是计算机视觉。在这篇访谈中,他谈到了自己在谷歌的实习项目、经历、...

2594
来自专栏IT派

AI 经典书单分享 人工智能学习该读哪些书?

算法、深度学习、机器学习、自然语言处理、数据结构、Tensorflow、Python 、数据挖掘、搜索开发、神经网络、视觉度量、图像识别、语音识别、推荐系统、系...

950
来自专栏AI科技大本营的专栏

你走过最长的路,就是机器学习过程中的弯路

营长的一位转型AI的朋友,最近对营长抱怨,“走过的最远的路,就是机器学习过程中的弯路”,然后开始各种blablabla,从论文的坑,到模型的坑,再到培训的坑.....

34810
来自专栏AI科技大本营的专栏

AI Insight:有了深度学习就可以包打天下?你想多了

眼下深度学习是整个 IT 领域中最热门的技术之一。虽然它只是机器学习五大学派数十种算法之一,但从媒体关注度、论文发表数量和创业投资热度来说,在人工智能、数据科技...

31411

扫码关注云+社区