专栏首页AI科技大本营的专栏AlphaGo棋风已变,强化学习功不可没

AlphaGo棋风已变,强化学习功不可没

不出所料,AlphaGo又赢了。

人不再是当年那个人,“狗”也不再是当年那只“狗”。

对于今天的棋局,柯洁表现如何AlphaGo的表现又如何,它何以能变得更强?

今天,我们懂围棋的老朋友——CSDN、极客帮创投和AI100的创始人蒋涛,特来详解AlphaGo这次的变化。

同时,李世石的一个学生也凑热闹来做点评。

今天的棋局,柯洁的表现还是值得称赞的。但最后,当然还是毫无悬念就输掉了,这说明人类在准备上,针对AlphaGo还是有不足。

柯洁不是一个人在战斗,应该是中国的围棋界,加上中国的计算机界、AI界来一起迎战人类最强大的对手。如果我们能够打败他,这将是一个非常重磅的新闻。

可是我们现在感觉,柯洁在开局上的套路准备有所不足。50多手下来,其实局面对黑棋(柯洁)来说已经不乐观了。所以,这是反映我们准备不足的一个因素,特别是点三三局面的变化其实并不复杂,但从判断来讲是黑棋(柯洁)不利。

这里是我们对棋局的看法。

AlphaGo棋风已变

聂卫平老师有说,AlphaGo是特意只输半颗子。这一说法我们尚不能证实,但AlphaGo的白棋在后续变化上,相对于人类棋手对局,肯定是下得比较保守的。而另一个角度,柯洁的发挥又相对强势。

因而,最后能出现这么细微的局面,说明棋局还是在AlphaGo的掌控之中的,毕竟它要确保的是结果的胜利。至于胜子1目还是10目,对于电脑来说,这里的判断其实是一样的,都是100%胜利这个结果。

所以,我认为这是两个方面的因素,一是电脑从计算上可能做了适当的退让,这从取胜的角度讲是完全没有问题的;二是柯洁在官子上也下得相对紧凑和精彩。

相对于去年的版本,今年AlphaGo的成长是非常明显的。它有了很多创新的下法,和自己独有的下法,这些下法我们可以从它今天的对局以及年初的Master大战群雄上看出来。

DeepMind创始人哈萨比斯也简单讲过它的细节,AlphaGo今年是单机版,在计算量上是去年的十分之一,但能力上看来比去年提升了不止一点。

用柯洁自己的话说,他有信心战胜去年的AlphaGo,但距离Master与新版AlphaGo的差距是非常显著的。

强化学习功不可没

从新版AlphaGo的表现来看,它更多是在自我学习的成长上,也就是通过强化学习(Reinforcement Learning)和自我对局演化成不同的版本。这样,每一个AlphaGo程序都会有它自己的风格,你可以有意识地诱导它往不同风格去发展。

如果没有不同的风格,强化学习的效果就不会太好。这就相当于你左右互搏,尽管自己和自己下得很多,但风格相近的成长对你未必是好事。而不同风格的成长,就能带来更好的结果。

总的来说,这次的AlphaGo,跟去年相比是很不相同的,棋风也大不一样,下法的创新程度也要高很多。这要归功于它在自我对局中的成长,同时也证明DeepMind在强化学习上的研究和成果是非常有价值的。

AlphaGo为啥这么牛?

视频内容

这是赛前精心准备的AlphaGo视频,我们早就预测过AlphaGo会完胜。

李世石的学生也来凑热闹

第一局比赛开始后,李世石的学生化身 conanbatt,专门出现在 Hacker News 上,来回答硅谷网友的围棋问题:

问题1:AlphaGo面世以来,人类棋手的下法有何变化?

AlphaGo无疑已经改变了围棋领域。专业棋手在围棋领域的竞争是相当激烈的,当棋手研究出一种全新的下法时,必定有另一位棋手会尝试来推翻他。这样的竞争一直在推动着专业围棋的进步。

柯洁在本局所用的点三三开局,是人类棋手在AlphaGo之前从未用过的。我15年前刚学围棋的第一件事,就是不要下出这样的落子。

问题2:AlphaGo之后最重要的问题,就是围棋的未来将会如何?

当然,当前的专业棋手将依旧以围棋为生。不过,在电脑始终能比你下得更好的情况下,再花毕生精力学成专业棋手还有何意义?

在AlphaGo去年打败李世石的时候,我就说过,围棋的未来是在于找对人类仍能进步但AlphaGo却没戏的细微领域。这就是为什么古力、连笑同AlphaGo的配对赛会对我特别有吸引力。

专业棋手与AlphaGo一起合作会有希望打败AlphaGo吗?果真如此的话,人类或许能有一席之地。

问题3:柯洁说再也不想打AlphaGo了,为什么李世石也这么想?

我不认为李世石还想再打。围棋非常依赖于棋手下棋时的信心:专业棋手从不会随意跟业余棋手下围棋,因为一旦输了,会非常他们的心态,使他们在面对其他专业选手时表现得更差。

在2001年的一场专业大赛中,一个阿根廷的业余围棋选手连续击败了两位有实力的专业棋手,这是一个强烈的信号。自那时起,那两位专业棋手基本就告别了专业赛事。

这对专业棋手的打击是巨大的,他们很难赢下自己认定会输的比赛。

说到这里,对于周五的双人AlphaGo配对赛,我们竟有点小小的期待了;至于五人围殴AlphaGo与柯洁获胜的希望,你们觉得还重要吗?

每日荐文

点击下方图片阅读精彩内容

手机也能直接玩机器学习了?大神手把手教你

只要五步,教你撸一个缩减版国际象棋AI

版权申明:如需转载请后台留言征得同意。


本文分享自微信公众号 - AI科技大本营(rgznai100)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-05-23

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 心跳之局:AlphaGo强大,柯洁伟大!

    柯洁和 Google AlphaGo 的第二局棋无论从围棋角度,还是从 AI 角度,加多少感叹号都是不够的。 跟这局棋比,当湖十局、耳赤之局、镰仓十番棋都黯然...

    AI科技大本营
  • AlphaGo模仿柯洁开局,激战3小时人类再度败北

    根据比赛最新消息,5月25日,柯洁对阵AlphaGo第二局,双方激战3个小时,执白子的柯洁再度输给AlphaGo ,第二次人机大战胜负已定。 中国乌镇围棋峰会...

    AI科技大本营
  • 刚刚,DeepMind被IJCAI授予杰出成就奖,因为他家把AlphaGo Zero做成了暖心的新垣结衣?

    啥都别说,先看图好不好 首先,恭喜DeepMind荣获大奖。 其次,获奖评语中,一定不会少的是对他家新品AlphaGo Zero的大加赞叹。 这货3天走完人类的...

    AI科技大本营
  • 心跳之局:AlphaGo强大,柯洁伟大!

    柯洁和 Google AlphaGo 的第二局棋无论从围棋角度,还是从 AI 角度,加多少感叹号都是不够的。 跟这局棋比,当湖十局、耳赤之局、镰仓十番棋都黯然...

    AI科技大本营
  • 大结局:柯洁0:3败北AlphaGo,围棋或进入后阿尔法狗时代

    大数据文摘
  • 深度 | 升级版AlphaGo 5月决战柯洁,DeepMind揭秘计算机全新棋风

    机器之心原创 参与:李泽南、李亚洲、吴攀 4 月 10 日下午,谷歌在北京的中国棋院召开新闻发布会,正式宣布 AlphaGo 将于今年 5 月 23 日在浙江乌...

    机器之心
  • 【观点】AlphaGo Zero再掀波澜,看各位AI业界大拿如何点评

    【导读】Google DeepMind在Nature上发表最新论文AlphaGo Zero,介绍了迄今最强最新的版本AlphaGo Zero,不使用人类先验知识...

    WZEARW
  • 柯洁又输了,关于人工智能AlphaGo你需要知道些什么

    原作者 Mirek Stanek 编译 CDA 编译团队 本文为  CDA 数据分析师原创作品,转载需授权 前言 本月 23 日- 27 日,在乌镇主办“中国乌...

    CDA数据分析师
  • 现场|David Silver原文演讲:揭秘新版AlphaGo算法、硬件和训练细节

    AI科技评论按:乌镇围棋峰会第二天,在《AlphaGo研发介绍,AlphaGo意味着什么》主题演讲上,Demis Hassabis+David Silver针对...

    AI科技评论
  • 柯洁1/4子惜败,机器之心独家对话AlphaGo开发者导师 Martin Müller

    机器之心报道 参与:杜夏德、李泽南 第一战,AlphaGo 赢了!几乎不出人意料。 5 月 23 日,中国围棋协会和浙江省体育局携手谷歌联合主办的「中国乌镇·...

    机器之心

扫码关注云+社区

领取腾讯云代金券