Yann LeCun 最新演讲：人工智能下一站——无监督学习（68ppt）

新智元

发布于 2018-03-26 15:13:03

8760

发布于 2018-03-26 15:13:03

文章被收录于专栏：新智元新智元

【新智元导读】 日前，Facebook AI 实验室负责人、纽约大学教授 Yann LeCun 受邀来到 CMU 进行分享，讲述深度学习领域最近技术进展，并回答听众提问。LeCun 表示，未来几年的挑战是让机器学会从原始的、没有标签的数据中学习，比如从视频或文本中学习，也就是无监督学习。如今的 AI 系统并不具有所谓的“常识”，有些人认为，无监督学习将是机器具有常识的关键。 LeCun认为，对抗式生成网络是近20年来最酷的创造，他个人非常看好。

LeCun 从深度学习的基础讲起，评析了实现无监督学习的几种方法。演讲中，LeCun 结合神经网络历程以及现在为人熟知的各位大牛的相关故事，是一次十分生动而且技术含量丰富的分享。视频 机器学习历史，从感知机谈起

LeCun：很高兴来到CMU。我第一次到美国来还是30多年前，当时是 Summer School 第一次举办，组织人是 Geoff Hinton 和 Tarry Konarski。

从照片中可以看见年轻的 Geoff Hinton，他当时还是 CMU 的研究员。Tarry Knoafski、Jay McLaren（他当时也在CMU），在 McLaren 旁边是 Michael Jordan。照片上的这些人现在基本都已经成就了一番大事业。还有我，我就在那里（具体位置待补充）。你看，我的头发基本上跟当时一样多呢——这是好事一件。

当时是段美好的时间。那时候是人们第一次开始提起 Backpropagation，Backpro 这个概念在当时真的超级火，虽然论文还没有发表出来——照照片的时候还是 1986 年7月，在章节中涉及 BP 算法的书后来才出版，相关论文也是一年后才在 Nature 发表。

我当时自己也在单独做有关 BP 的一些研究，工作发表后，立即引发了轰动。Hinton 他们也知道了这件事，一年后便去了多伦多（邀请我来美国）……这是我第一次来到美国高校的这样一个环境，体验非常棒。我当时就住在旁边的宿舍，跟一个人合住，他那时候还是法国的大学生，因为我们两个都说法语，他们就安排我们两人住一起。现在，他已经成为超级名人，是法国最著名的认识科学家之一，研究意识之类的东西，总之是个很厉害的人。

我现在展示的这张照片显示的是感知机——我们都忘记了 20 世纪 50 年代的感知机，但感知机可以说是所有神经网络的基础。感知机实际上并不是一个计算机程序，而是一台模拟计算机（analog computer）

，这个大家伙的每个模块（module）都是一个权重。与神经元模型不同，感知器中的权值是通过训练得到的。你只要一按键，当系统发生错误时，所有的模块都会“死过去”。

感知机运行权重实际上取决于你按键的时间有多长。那块平板就是特征提取器。现在用 Python 很轻松就能实现，但在当时这可是一件难事。感知器类似一个逻辑回归模型，可以做线性分类任务。由此产生出了特征提取模型以及后来的分类模型，几十年来一直被作为物体识别的标准方法被人使用。

我们都知道监督学习是什么了，而我之所以要提监督学习，是因为后面我们会涉及为什么它有局限。在机器学习中，我们将样本——比如汽车或者飞机的图像，输入有很多可调参数的机器里——这实际上是一个类比。当输入的是一辆车时，红灯就会亮，当输入是飞机时就打开绿灯。然后我们就不停调整参数。通过增加梯度，我们可以调整亮绿灯的次数。

深度学习原理和典型应用介绍