专栏首页UAI人工智能解析 AlphaGo Zero 突破性成功的密码

解析 AlphaGo Zero 突破性成功的密码

DeepMind 的 AlphaGo Zero 的研究成果终于应约而至,大家均为之惊叹。从一大早到晚上,有不少人来自工业界、学术界,比如上海交大的 Liu Kent、帝国理工的 L 兄、UCL 的朋友等问起一些关于 DeepMind 最新 AlphaGo Zero 的为何能够取得突破的问题,决定写文简单分享一下自己的看法。

一句话概括就是 DeepMind 整体对强化学习的深入探究指导了 Zero 的设计。

首先很感谢 DeepMind 团队对人类关于围棋认知的贡献。但更令人兴奋的是,人工智能技术能够取得的成就已经让人类感到震惊。相信不久的未来来自全球各地的团队会带来越来越多的全新体验和认知升级。

理念层面,我觉得 DeepMind 对事物本质的探求是其不断突破天花板的源泉。抓住一个小小的口子,比如 DQN 上的突破,将整个领域切开,迅速找到能够解决得很好的问题,逐步形成更深的领域认知。大多数设计者对于围棋这款游戏是充满的热情和好奇的。

AlphaGo 的能力决定因素有几点:蒙特卡洛树搜索 MCTS、Reinforement Learning 及 Deep Learning。用于近似的神经网络也能够受益于深度学习飞速发展不断进步。随着层次和结构的复杂,网络的表达能力已经在很多任务上超过人类最佳水平。比如 ImageNet 任务的ResNet。

RL 技术历史悠远,但近来的发展同样喜人。来自各个方向的学者贡献了大量的创新思路。有些是将几十年前的论文思想发展,有些也是新人老人结合产生的突破。

除了软件和算法的进步,硬件设施的针对性的调整确实也能够让模型训练变得更加快速。

下面看看具体的点,

First and foremost, it is trained solely by self-play reinforcement learning, starting from random play, without any supervision or use of human data.

这次的算法更加像是传统的强化学习模型,直接通过 trial-and-error 进行学习,而不需要人类的经验数据。这可能是最关键的突破点。怎么去自我对弈,这也是很有讲究的。其中的奥妙就是算法设计的精妙之处,比如说在德州扑克中的一些 self-play 的方法。

Second, it only uses the black and white stones from the board as input

选择黑白子作为输入

Third, it uses a single neural network, rather than separate policy and value networks.

这里的影响应该不大,但是也需要解决一些问题,或者说这样的处理就是更为直接的结构,我们去设计算法的时候觉得理解方便的模型,说不定却对真实问题的认知缺乏足够的复杂度的。这里面其实关键是深度学习的模型的能力提升,使得我们可以直接用单个神经网络来刻画原来需要两个网络的特性。

Finally, it uses a simpler tree search that relies upon this single neural network to evaluate positions and sample moves, without performing any MonteCarlo rollouts.

直接通过上述神经网络来评估位置和采样走法,不需要 Monte Carlo 的 rollouts。这对于加快训练肯定是很有帮助的。所以深度学习的发展也还是能够增强 AlphaGo Zero 的网络的表达能力和预测能力。

To achieve these results, we introduce a new reinforcement learning algorithm that incorporates lookahead search inside the training loop, resulting in rapid improvement and precise and stable learning.

lookahead 搜索起到了关键作用。

关键作用几乎全部是算法层面的创新设计。

后记:Solve intelligence 口号背后是依靠着多少科研人员的努力。DeepMind 发出的那些深度强化学习 paper 中蕴含着各种的尝试,最终落地到围棋问题的解决上。相信这套技术对一系列类似的问题会非常有价值。

也祝贺 David Silver 成为 UCL 的 Professor。

本文分享自微信公众号 - UAI人工智能(UniversityAI),作者:Neil

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-10-20

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 译 Michael Nielsen 之问——是否有关于智能的一个简单的算法?

    用户1107453
  • 实战派 | AI摸爬滚打之Win7+docker安装PaddlePaddle全纪实

    用户1107453
  • Neural Fictitious Self Play——从博弈论到深度强化学习

    用户1107453
  • EasyFlash V4.0 ENV 功能设计与实现

    EasyFlash 是我个人开发的第二款开源软件,自 2015 年初正式开源出来,至今(2019.02)已经经历了 4 年多时间。期间有很多其他行业的嵌入式开...

    Mculover666
  • 第183天:引用类型和值类型

    半指温柔乐
  • 职校云教室建设部署腾创NComputing软硬件一体化终端方案

    新型信息化时代的互联网+、大数据、云计算、物联网大背景下,教育信息化的2.0时代已然到来,信息的优化、整合成为当务之急,“云教室”概念顺应而生。云计...

    nc云终端yun0101.com
  • jqgrid 获取当前页数据

    yaphetsfang
  • 那些出乎意料的类型转换

    本文作者:IMWeb helinjiang 原文出处:IMWeb社区 未经同意,禁止转载 JavaScript是一门弱类型的语言,因此类型之间的转换会...

    IMWeb前端团队
  • 那些出乎意料的类型转换

    JavaScript是一门弱类型的语言,因此类型之间的转换会更频繁也更灵活。本文讨论了一些你倍感意外的类型转换,以及其他类型相关的话题。

    IMWeb前端团队
  • Gradle简介

    阿凯

扫码关注云+社区

领取腾讯云代金券