【超越柯洁】AlphaGo创始人演讲：走向通用 AI（67PPT）

【新智元导读】7月18日，世界职业围棋排名网站GoRatings公布最新世界排名，谷歌旗下 DeepMind 的人工智能程序 AlphaGo 以3612分，超越3608分的柯洁成为新的世界第一，连续24个月霸占榜首的柯洁暂时退居世界第二。最近，DeepMind 创始人之一，现任CEO Demis Hassabis 在 MIT 的演讲也在Youtube上发布。Demis在演讲中详细地介绍了AlphaGo的原理，并回顾了3月份那场与李世石的围棋大战中最激动人心的时刻。

今天，世界职业围棋排名网站GoRatings公布，最新世界排名中，AlphaGo已经超越柯洁，成为新的世界第一。

下文是DeepMind创始人之一，现任CEO的 Demis Hassabis 在 MIT 大脑与机器研究中心（CBMM）的演讲。Demis 既是一名AI研究者，也是一名神经科学家、视频游戏开发者。在本次演讲中，他介绍了AI 研究中最前沿的技术，其中包括具有历史意义的AlphaGo与李世石的围棋大战。Demis 也展望了未来AI对科学和医疗行业的影响，说明发展AI可以让我们更好地理解人类的内心。

走向通用人工智能

DeepMind建立于2010年，2014年被谷歌收购。

DeepMind的使命：

1. 解决智能难题；
2. 用智能解决所有难题。

DeepMind从建立起目标就锁定在建立通用的人工智能。Demis在演讲中把这一目标称为通用目的的学习算法，即，能从原始的输入，而非预先编程的材料中自动地进行学习。通用指的是，一个能在大量的任务中运行的系统。

通用人工智能（AGI）：灵活的、可适应的、创造性。

“狭义”的AI：手工编码的、特定用途的、易破坏的。

深蓝就是预先编程的。

增强学习框架：

带有目的的智能体在特定的环境中进行训练，获得观察和反馈，然后做出该环境中的行动决策。

先行者：用游戏训练AI

一个真正能思考的机器，必须是在一个多变的现实环境下可行的。

游戏是一个开发和测试AI算法的理想平台：无限的训练数据、不存在测试偏见、平行测试、进程可控。

端对端的学习智能体：从像素到行到，即，从感知到行动。

在使用游戏来研究AI上，DeepMind走在了前列。

深度增强学习：深度学习与增强学习的结合：让增强学习可以更大范围的使用。

从80年代起，在Atari 2600平台上训练了50+个经典游戏

• 智能体只获得最原始的像素作为输入
• 其目标是尽可能拿高分
• 从“零”学起
• 一个系统，玩所有不同的游戏

游戏实例（视频中可见）

DeepMind通过玩游戏进行AI研究的成果，曾作为封面文章于2015年发表在《Nature》上。

神经科学系统对AI的启发：记忆、聚焦（Attention）、概念、规划、导航、想象。大脑中的海马体在发挥作用。

让神经网络具备记忆功能

记忆：神经图灵机器示意图

AI中的经典问题：积木难题

象征推理：迷你积木难题（程序如何根据设定的目标对积木进行排序，视频中有动图可见）。Demis说，今年年底，将会发表相关论文。

用积木代表语言问题

程序在游戏中的3D导航问题

AlphaGo：神经网络与规划问题的结合

Demis两步教你下围棋

第二步：劫

为什么选择围棋？

人类最复杂难懂的游戏

人类已经达到很高的专业水准

对AI来说依然是一个巨大的挑战：要求直觉和计算；要求模式识别和规划的结合。

围棋的复杂性让暴力算法无效。

两大主要挑战：搜索空间非常大；不可能写估值函数来决定谁赢。

国际象棋每个位置有20种可能走法

围棋每个位置有200种可能走法

围棋是一种建设性的游戏，所以估值包含了预测。

局部微小的改变会完全改变估值。

直觉VS计算

围棋主要是关于直觉而不是计算

AlphaGo的深度神经网络包含两层：策略网络和估值网络

蒙特卡洛树形搜索与神经网络的结合

搜索树删节

AlphaGo与其他程序的对比

2015年，与樊麾的比赛。AlphaGo 5:0 获胜。

关于AlphaGo下围棋的研究发表在2016年的《Nature》上。

与李世石的围棋大战

详解第二局中AlphaGo的第37步棋

第四局中，李世石的第78步棋。

这场对决带来的影响

深蓝与AlphaGo的对比

直觉和创造力

未来应用：健康医疗和智能助理

AlphaGo团队