AI科技评论按:本文作者夏飞,清华大学与卡内基梅隆大学毕业,现于谷歌从事技术研发工作。本文是对《自然》上发表的知名论文“Mastering the game of Go with deep neural networks and tree search”进行的总结,对 AlphaGo 的算法结构进行了概括。原总结文用英语写就,经AI科技评论编译。
下文概括了围棋借助人工智能在 2016 年实现的突破。
围棋是一个完全信息博弈问题。而完全信息博弈,通常能被简化为寻找最优值的树搜索问题。它含有 b 的 d 次方个可能分支,在国际象棋中 b≈35,d≈80;而在围棋中 b≈250,d≈150。很显然,对于围棋,用穷举法或简单的寻路算法(heuristics)是行不通的。但有效的方法是存在的:
状态分数=价值网络输出+快速运行(fast rollout)的策略结果+监督学习策略网络输出
高状态得分(或者说落子)会被选择。价值网络输出和快速运行策略结果是评估函数,在叶子节点进行评估(注意,为了评估快速运行,需要一直到最后一步)。监督学习策略网络输出是一个当前阶段的 action 概率,充作选取分数的奖励分。该分数会随访问次数而退化,以鼓励探索。注意强化学习策略网络只被用于辅助,来生成价值网络,并没有直接在蒙特卡洛树搜索中使用。
到这就结束了,以上就是战胜了人类的 AlphaGo 算法!
“12小时零基础入门深度学习”,欢迎来玩!
“AlphaGo的划时代意义在于它不仅仅缩短了机器与人的智能距离,还将颠覆人与人智商差异的感知 。” 这是在去年AlphaGo战胜李世石后, 有业内人士如是说。
The rich get richer,门外汉也想窥探人工智能背后的神秘。AI慕课学院自上线以来推出了不少人工智能专业课程,有不少像小编这样的AI小白空有一腔热情却只能望而却步。现在,雷锋网携手AI慕课学院推出《12小时零基础入门深度学习》(线下周末班,仅50个名额),邀请了IOT农业机械和MLAQI预测算法项目的深度学习工程师Chris、“深度学习”和“无人驾驶”领域有丰富教学经验的Max博士、曾参与某大型算法金融项目研发的深度学习工程师杨杰等中外讲师,12小时现场授课,采用“探索+实践”的硅谷教学模式,用最流行的深度学习技能 CNN、RNN、VGG16、ResNet、InceptionCNN等动手操作9大项目,fastai中文社区最活跃的四位贡献者为你打开深度学习入门的那扇门,快速构建你的深度学习应用。目前课程回馈价599元,史上最低,欢迎来玩。
讲真,小编在一个月前知道“AI慕课学院” 在密谋这个课程福利的时候就已经悄悄预约了,名额有限,快来面基呀。
详情请点击“阅读原文”查看,或直接访问http://www.mooc.ai/course/92