手把手教你三天训练出自己的AI围棋大师

过去一年,AI领域最exciting的进展可能要数AlphaGo的不断进步。AlphaGo Zero不仅提出了新的网络架构,也带来了一些新的神经网络训练技巧。

虽然DeepMind发表了论文,并在Reddit论坛上进行了一次公开答疑,后来还有人将AlphaGo Zero的算法实现了出来,但如何训练?其中有哪些trick?

发表在HackerNoon上的一篇最新博客文章做出了直观的解读:

先从AlphaGo各个版本一脉相承的两种方法说起:一是前瞻的蒙特卡洛树搜索,二是凭“直觉”来对落子位置进行评估,也就是DeepMind所说的策略网络和价值网络。这两种方法结合起来,构成了每一版AlphaGo的核心。

从更高的层面讨论,AlphaGo Zero的工作方式和AlphaGo差不多,它们都使用了基于MCTS的前向搜索,并辅以神经网络的指导。然而,AlphaGo Zero的神经网络,或者说它的“直觉”,跟AlphaGo的训练方式完全不同。

以下是三个你需要知道的tricks。

Trick 1:如何训练AlphaGo Zero

所谓神经网络学会下围棋,就是能在当前的局面下,判断出下一步的最佳落子位置。DeepMind发现,无论神经网络智能程度如何,从一无所知到围棋大师,使用MTCS总是更好的评估判断方案。

从根本上来说,MCTS是一种前向搜索,如果有足够的时间,人类围棋大师也能完成。这个过程无非是不断脑补棋局未来的变化,评估哪些“套路”可能是最佳方案。

举个例子。第一种落子方案,最终可能导致平局,评估得分就是0.0。接着看第二种方案,神经网络推算出这么下可能会获胜,评估得分为0.5。

这个过程一直持续进行的话,前向搜索总是能够评估出更好的落子方案。

当然,这也要求神经网络能够判断如何下棋落子能带来胜利。基于MCTS的改进评估与神经网络的当前状态,智能体Agent不断地展开自我对局。

DeepMind用来训练AlphaGo Zero的数据,全部都是通过前向搜索和自我博弈产生的。

不使用人类下棋的数据,其实是一个trick。这样的话,对于每个给定的局面,神经网络都能通过执行基于MCTS的前向搜索,再用其提高智能体的棋力。

在这种方法的帮助下,AlphaGo Zero从一无所知成长为围棋大师。

Trick 2: 双头怪

AlphaGo Zero的神经网络,是一个“双头”架构。

这个网络的前20层左右,是常见的神经网络结构。然后跟着是两个“头”,一个头取走了前20层的输出,然后产生了下一步的落子概率,另一个头基于同样的数据,输出当前局面的获胜概率。

这是个不寻常的结构。几乎所有的应用中,神经网络都只给出一个固定的输出。如果有两个不同的输出结果,应该如何学习呢?

答案很简单。请记住,神经网络的本质只是一些数学函数,包括一系列影响决策的参数。所谓训练,就是反复向神经网络展示正确答案,让网络更新参数,使得输出更接近正确答案。

所以,当我们使用一个头进行预测时,只需要更新“身体”和“头1”中的参数。而使用另一个头时,更新“身体”和“头2”中的参数。

这就是DeepMind训练单一、双头神经网络的方法,并且用其来指导MCTS的搜索。有点像AlphaGo使用了两个单独的神经网络。这个trick在技术上被称为硬参数共享的多任务学习(Multi-Task Learning with Hard Parameter Sharing)。

Trick 3: 残差网络

AlphaGo Zero还用了比之前版本更前沿的神经网络架构:残差网络。

残差网络是2015年孙剑在微软亚洲研究院带领的团队开发的,当时AlphaGo第一版的工作已经快要接近尾声。

这两种神经网络相关的技巧——用残差网络架构替代卷积架构、用“双头怪”神经网络替代各个单独的神经网络,都能让整个网络的性能增加一倍,两者结合起来,性能又有提升。如下图所示:

小结

上面三个tricks让AlphaGo Zero展现出令人难以置信的能力。

值得注意的是,AlphaGo没有使用任何经典或者前沿的强化学习概念,没有Deep Q Learning,也没有Asynchronous Actor-Critic Agents。

DeepMind只是使用了模拟的方法为神经网络产生数据,然后以监督的方式学习。

Denny Britz曾经总结说:具有讽刺意味的是,强化学习在过去几年里的主要发展,都让强化学习看起来不像强化学习,反而更像监督学习。

手把手训练AlphaGo Zero

1、初始化神经网络

2、让神经网络开始自我对弈,每一步进行1600次MCTS模拟,大概耗时0.4秒

3、随着对弈数量的增长,从最近的50万场比赛中,采样2048个落子决定,以及比赛对应的输赢情况。

4、使用MCTS前向搜索产生的落子评估,以及输赢结果,一起对神经网络进行训练。

5、步骤3、4每进行1000次迭代,评估当前神经网络与此前最佳版本。如果新版本胜率达到55%,就开始用其生成新的游戏,而不再用此前的版本。

重复3、4步70万次,自我对局不要停,三天后,你也能训练出一个AlphaGo Zero。

对AI未来的启示

DeepMind的成就,对于人工智能研究的未来有很多启示,以下是关键几点:

第一,通过模拟产生的自我对弈数据对于神经网络的训练来说,已经足够好了。这证明了模拟的自我对局数据能够训练AI智能体完成极其复杂的任务,超越人类表现,甚至能够完全从0开始,根本不需要人类专家提供的数据。

第二,为了让智能体在多个领域学习执行几个相关任务,“双头”的trick能提供很大帮助。这似乎可以防止智能体的行为在任何单个任务上过拟合。DeepMind似乎非常喜欢这个trick,还用它的高级版本构建了可以在多个不同领域学习多个任务的智能体。

很多机器人项目,特别是用模拟环境训练机器人使用四肢完成任务的领域里,用这两种技巧取得了不错的效果。Pieter Abbeel在NIPS上的最新演讲展示了很多令人印象深刻的新成果,这些成果用了很多前沿强化学习技术加上了这些trick。

实际上,机器人的运动对于“双头”来说是一个完美的使用场景,比如说,要教机器人打棒球,其实包含两类动作,一是握住、挥动球棒,二是击打一个运动中的物体。用“双头”,两种动作的训练就可以同时完成,因为这二者包含一些共同技能,比如平衡、转体等等。

原文发布于微信公众号 - 机器人网(robot_globalsources)

原文发表时间:2018-01-15

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏用户2442861的专栏

阿尔法狗是怎么用机器学习做决策的

雷锋网注:本文作者许铁, 法国巴黎高师物理硕士 ,以色列理工大学(以色列85%科技创业人才的摇篮, 计算机科学享誉全球)计算神经科学博士,巡洋舰科技有限公司创...

1291
来自专栏企鹅号快讯

机器之心年度盘点:2017年人工智能领域度备受关注的科研成果

机器之心原创 参与:李泽南、李亚洲、黄小天 2016 年,人工智能行业经历了语音识别准确率飙升、神经机器翻译重大突破、图像风格迁移的兴盛。2017 年,人们对于...

24710
来自专栏机器之心

DeepMind AlphaGo Zero引爆业内,创造者现身Reddit问答

30910
来自专栏AI科技评论

李开复、马少平、周志华、田渊栋都是怎么看AlphaGo Zero的?

AI科技评论消息,北京时间10月19日凌晨,Deepmind在Nature上发布论文《Mastering the game of Go without huma...

3707
来自专栏新智元

【Nature重磅封面】Google人工智能击败欧洲围棋冠军,3月挑战世界冠军!

围棋一直被视为人工智能最难破解的游戏。就在今天,《Nature》杂志以封面论文的形式,介绍了 Google DeepMind 开发的人工智能程序 AlphaGo...

38211
来自专栏量子位

“不正经”NIPS大会指北:嘻哈歌手、感人长队,以及最佳论文

夏乙 问耕 假装发自加州 量子位 出品 | 公众号 QbitAI ? 这几天,AI圈人士纷纷前往洛杉矶附近风景宜人的长滩。 他们在这里排长队、晒太阳、看大海、听...

3535
来自专栏刘笑江的专栏

学习协同过滤推荐 \w 100行Python代码

用一百行 Python 代码,入门协同过滤推荐。

3245
来自专栏AI科技大本营的专栏

围棋天团告负!1v5英雄“狗”背后的原理概括

今天,中国围棋峰会进行到了第四天,AlphaGo挑战两种未曾体验过的比赛:人机配对赛和1v5的团体赛。 对于全新的比赛形式,棋圣聂卫平与AlphaGo之父哈萨比...

40711
来自专栏机器之心

机器之心年度盘点:2017年人工智能领域度备受关注的科研成果

3839
来自专栏新智元

“德州扑克AI之父”再发新论文:“冷扑大师2.0”要来了?

最近,Arxiv上的一篇题为《Solving Imperfect-Information Games via Discounted Regret Minimiz...

1594

扫码关注云+社区

领取腾讯云代金券