【NIPS 主旨演讲】Yann LeCun：用预测学习替代无监督学习（75PPT）

新智元

发布于 2018-03-26 15:57:53

1.6K0

发布于 2018-03-26 15:57:53

文章被收录于专栏：新智元

【新智元导读】日前，Facebook AI 实验室负责人、纽约大学教授 Yann LeCun 受邀在今年的 NIPS 大会发表主旨演讲，畅谈深度学习最近技术进展。值得注意的是，LeCun 试图改变人们对 AI 的通常分类（即无监督学习、监督学习和增强学习），他在演讲中用“预测学习”替代“无监督学习”，因为预测学习要求机器不仅能在没有人类监督的情况下学习，而且能够学习世界的预测模型。

此外，LeCun 还引入了使用 RNN 实体从文本中推断世界的状态等新的技术，结合深度学习领域最新发展，比如 TorchCraft、使用对抗训练让系统预测视频接下来的内容。【在新智元微信公众号回复1207，可下载全部75页PPT】

要了解今年 NIPS 的盛况，先上一张图：

2016 年，作为学界顶级盛会的 NIPS 共收到投稿超过 2500 篇，最终接收了 568 篇——保守估计接收率 22.7%。这个论文接收率并不算那么低（相较其他顶会），不过，得到口头展示机会的名副其实百里挑一。

再看参会人数及其近年来的增长趋势（上图右）——尤其是近两年，用“直线上升”形容毫不夸张。如果这个显示的是某个国家的 GDP，估计领导人绝对合不拢嘴了。

作为 2016 年 NIPS 大会受邀发表主旨演讲的第一人，纽约大学教授、Facebook 人工智能实验室（FAIR）主管 Yann LeCunn 的演讲备受瞩目：

（文／Carlos E. Perez）Yann LeCun 今年演讲中多次提到这样一个类比：

如果把“智能”（intelligence）比作一个蛋糕，那么无监督学习就是蛋糕本体，监督学习是蛋糕上的糖霜，而增强学习是蛋糕上的樱桃。我们知道如何得到糖霜和樱桃，但不知道怎样做蛋糕。

在 NIPS 2016 上，LeCun 开始使用“预测学习”（predictive learning）这个词代替“无监督学习”（unsupervised learning）。LeCun 在演讲中说：

我们缺乏的一个关键要素是预测（或无监督）学习：机器具有模拟环境，预测未来的可能性，以及通过观察和参与理解世界如何运作的能力。

这是一个有趣的变化，表明 LeCun 的“做蛋糕”观点有了一些微妙的变化。在 LeCun 看来，需要建立基础，然后才能让 AI 加速进步。换句话说，在我们能够建立“预测基础层”（predictive foundational layer）之前，试图通过增加更多的内存、知识库、协作智能体等构建当前的监督学习将会十分困难。

在 NIPS 大会上，他贴出了下面这张 PPT：

1. 机器需要学习/理解世界的运转方式

物理世界、数字世界、人

需要掌握常识

2. 机器需要学会大量的背景知识

通过观察或者行动

3.机器需要感知世界的变化

以作出精准的预测和计划

4.机器需要更新并记住对世界状态的预测

关注重大事件、记住相关事件

5. 机器需要会推理和计划

预测哪些行动会带来预期的改变

智能&常识=感知+预测模型+记忆+推理&计划

LeCun 的演讲强调了我们面前的艰巨任务。

预测学习要求机器不仅能在没有人类监督的情况下学习，而且能够学习世界的预测模型。这点非常重要，这也是为什么 LeCun 试图改变人们对 AI 的通常分类（即无监督学习、监督学习和增强学习）。

以下为 Yann LeCun NIPS 2016 演讲实录——《预测学习》

很高兴跟大家分享，今天我演讲的主题是“预测学习”。

什么是预测学习？首先，我们还是要先从感知机讲起。从下面的照片中可以看见年轻的 Geoff Hinton，他当时还是 CMU 的研究员。Tarry Knoafski、Jay McLaren（他当时也在CMU），在 McLaren 旁边是 Michael Jordan。照片上的这些人现在基本都已经成就了一番大事业。还有我，我就在那里。

当时是段美好的时间。那时候是人们第一次开始提起 Backpropagation，Backpro 这个概念在当时真的超级火，虽然论文还没有发表出来——照照片的时候还是 1986 年7月，在章节中涉及 BP 算法的书后来才出版，相关论文也是一年后才在 Nature 发表。

我现在展示的这张照片显示的是感知机——我们都忘记了 20 世纪 50 年代的感知机，但感知机可以说是所有神经网络的基础。感知机实际上并不是一个计算机程序，而是一台模拟计算机（analog computer）。与神经元模型不同，感知器中的权值是通过训练得到的。你只要一按键，当系统发生错误时，所有的模块都会“死过去”。

我们都知道监督学习是什么了，而我之所以要提监督学习，是因为后面我们会涉及为什么它有局限。在机器学习中，我们将样本——比如汽车或者飞机的图像，输入有很多可调参数的机器里——这实际上是一个类比。当输入的是一辆车时，红灯就会亮，当输入是飞机时就打开绿灯。然后我们就不停调整参数。通过增加梯度，我们可以调整亮绿灯的次数。