说说图灵奖的深度学习「三教父」惊世贡献

2019年3月27日 ——ACM 宣布，深度学习之父 Yoshua Bengio , Yann LeCun 以及 Geoffrey Hinton 获得了2018年的图灵奖，被称为“计算机领域的诺贝尔奖”。

左：Geoffrey Hinton

中：Yann LeCun

右：Yoshua Bengio

今天，深度学习已经成为了人工智能技术领域最重要的技术之一。三位达人三位大神获得这个奖真是没有什么悬念。

三位科学家发明了深度学习的基本概念，在实验中发现了惊人的结果，也在工程领域做出了重要突破，帮助深度神经网络获得实际应用。

在 ACM 的公告中，Hinton 最重要的贡献来自他1986年发明反向传播的论文 “Learning Internal Representations by Error Propagation”；1983年发明的玻尔兹曼机（Boltzmann Machines），以及2012年对卷积神经网络的改进。

Hinton 和他的学生 Alex Krizhevsky 以及 Ilya Sutskever 通过 Rectified Linear Neurons 和 Dropout Regularization 改进了卷积神经网络，并在著名的 ImageNet 评测中取得了很好的成绩，在计算机视觉领域掀起一场革命。

Bengio 的贡献主要在1990年代发明的 Probabilistic models of sequences。他把神经网络和概率模型（例如隐马尔可夫模型）结合在一起，并和 AT&T 公司合作，用新技术识别手写的支票。现代深度学习技术中的语音识别也是这些概念的扩展。

此外 Bengio 还于2000年还发表了划时代的论文“A Neural Probabilistic Language Model”，使用高维词向量来表征自然语言。他的团队还引入了注意力机制，让机器翻译获得突破，也成为了让深度学习处理序列的重要技术。

Yann LeCun 的代表贡献之一是卷积神经网络。1980年代，LeCun 发明了卷积神经网络，现在已经成为了机器学习领域的基础技术之一，也让深度学习效率更高。1980年代末期，Yan LeCun 在多伦多大学和贝尔实验室工作期间，首次将卷积神经网络用于手写数字识别。

今天，卷积神经网络已经成为了业界标准技术，广泛用于计算机视觉、语音识别、语音合成、图片合成，以及自然语言处理等学术方向，以及自动驾驶、医学图片识别、语音助手、信息过滤等工业应用方向。

LeCun 的第二个重要贡献是改进了反向传播算法。他提出了一个早期的反向传播算法 backprop，也根据变分原理给出了一个简洁的推导。他的工作让反向传播算法更快，比如描述了两个简单的方法可以减少学习时间。

LeCun 第三个贡献是拓展了神经网络的应用范围。他把神经网络变成了一个可以完成大量不同任务的计算模型。他早期引进的一些工作现在已经成为了人工智能的基础概念。

例如，在图片识别领域，他研究了如何让神经网络学习层次特征，这一方法现在已经用于很多日常的识别任务。他们还提出了可以操作结构数据（例如图数据）的深度学习架构。

Geoffrey Hinton

反向传播：在 1986 年与 David Rumelhart 和 Ronald Williams 共同撰写的 “Learning Internal Representations by Error Propagation” 一文中，Hinton 证明了反向传播算法允许神经网络发现自己的数据内部表示，这使得使用神经网络成为可能网络解决以前被认为超出其范围的问题。如今，反向传播算法是大多数神经网络的标准。

玻尔兹曼机（Boltzmann Machines）：1983 年，Hinton 与 Terrence Sejnowski 一起发明了玻尔兹曼机，这是第一个能够学习不属于输入或输出的神经元内部表示的神经网络之一。

卷积神经网络的改进：2012 年，Hinton 和他的学生 Alex Krizhevsky 以及 Ilya Sutskever 通过 Rectified Linear Neurons 和 Dropout Regularization 改进了卷积神经网络，并在著名的 ImageNet 评测中将对象识别的错误率减半，在计算机视觉领域掀起一场革命。

Yoshua Bengio

序列的概率模型：在 20 世纪 90 年代，Bengio 将神经网络与序列的概率模型相结合，例如隐马尔可夫模型。这些想法被纳入 AT＆T / NCR 用于阅读手写支票中，被认为是 20 世纪 90 年代神经网络研究的巅峰之作。现代深度学习语音识别系统也是这些概念的扩展。

高维词汇嵌入和关注：2000 年，Bengio 撰写了具有里程碑意义的论文“A Neural Probabilistic Language Model”，它引入了高维词向量作为词义的表示。Bengio 的见解对自然语言处理任务产生了巨大而持久的影响，包括语言翻译、问答和视觉问答。他的团队还引入了注意力机制，这种机制促使了机器翻译的突破，并构成了深度学习的序列处理的关键组成部分。

生成性对抗网络：自 2010 年以来，Bengio 关于生成性深度学习的论文，特别是与 Ian Goodfellow 共同开发的生成性对抗网络（GAN），引发了计算机视觉和计算机图形学的革命。

Yann LeCun

卷积神经网络：在 20 世纪 80 年代，LeCun 研发了卷积神经网络，现已成为该领域的基本理论基础。其让深度学习更有效。在 20 世纪 80 年代后期，多伦多大学和贝尔实验室工作期间，LeCun 是第一个在手写数字图像上训练卷积神经网络系统的人。如今，卷积神经网络是计算机视觉以及语音识别、语音合成、图像合成和自然语言处理的行业标准。它们用于各种应用，包括自动驾驶、医学图像分析、语音激活助手和信息过滤。

改进反向传播算法：LeCun 提出了一个早期的反向传播算法 backprop，并根据变分原理对其进行了简洁的推导。他的工作让加快了反向传播算，包括描述两种加速学习时间的简单方法。

拓宽神经网络的视野：LeCun 还将神经网络作为可以完成更为广泛任务的计算模型，其早期工作现已成为 AI 的基础概念。例如，在图像识别领域，他研究了如何在神经网络中学习分层特征表示，这个理念现在通常用于许多识别任务中。与 LéonBottou 一起，他还提出了学习系统可以构建为复杂的模块网络，其中通过自动区分来执行反向传播，目前在每个现代深度学习软件中得到使用。他们还提出了可以操作结构化数据的深度学习架构，例如图形。