寒冬！100万$图灵奖颁给熬过寒冬的深度学习三巨头

据官方公告介绍，因三位巨头（Hinton、Bengio、LeCun）在深度神经网络概念和工程上的突破，使得 DNN 成为计算的一个重要构成，从而成为 2018 年图灵奖得主。

https://amturing.acm.org/byyear.cfm

回顾图灵奖十年以来，这是第三次颁给机器学习领域的杰出贡献者了：

• 2011 年图灵奖得主为 Judea Pearl，他开发的概率与因果推理微积分为人工智能发展做出了重大贡献；
• Leslie Gabriel Valiant 获得了 2010 年图灵奖，为计算理论的发展作出了变革性贡献，包括 PAC 学习理论、并行与分布计算理论等；

Hinton、Bengio、LeCun，相信读者对这三位巨头的名字已经耳熟能详。

Yoshua Bengio 是蒙特利尔大学教授、魁北克人工智能机构 Mila 的科学主管。Geoffrey Hinton 是谷歌副总裁、工程研究员，也是 Vector Institute 的首席科学顾问、多伦多大学 Emeritus 荣誉教授。Yann LeCun 是纽约大学教授、Facebook 副总裁和首席 AI 科学家。

主要技术成就

今年图灵奖得主的技术成就带来了 AI 技术的极大突破，包括但不限于以下成果。

Geoffrey Hinton

ACM 表示 Geoffrey E Hinton 主要有三大重要贡献：

• 反向传播
• 玻尔兹曼机
• 对卷积神经网络的修正

在 1986 年的一篇论文中，Hinton 与 David Rumelhart 和 Ronald Williams 提出了反向传播，这篇论文即著名的《Learning Internal Representations by Error Propagation》。Hinton 等研究者表示反向传播算法允许神经网络探索数据内部的深层表征，因此神经网络才能解决以前被认为无法解决的问题。反向传播目前已经成为训练深度神经网络所必需的算法。

1983 年，Hinton 和 Terrence Sejnowski 提出了玻尔兹曼机，它是第一个能学习神经元内部表征的深度神经网络，这种表征既不是输入也不是输出的一部分。

到了 2012 年，Hinton 与他的学生 Alex Krizhevsky 和 Ilya Sutskever 为卷积神经网络的发展做出了重要贡献。他们率先使用修正线性神经元（ReLU）和 Dropout 正则化大大提升了深度卷积神经网络的性能。在当年的 ImageNet 竞赛中，Hinton 和他的学生几乎将图像识别的误差率减半，这一次挑战赛重塑了计算机视觉领域。

Yoshua Bengio

ACM 表示 Yoshua Bengio 主要有三大重要贡献：

• 序列的概率建模
• 高维词嵌入与注意力机制
• 生成对抗网络

在上个世纪九十年代，Bengio 提出将神经网络与序列的概率建模相结合，例如隐马尔可夫模型这种序列的概率建模方法。这些创新观点被 AT&T/NCR 所接受，并用于阅读手写支票，该系统被认为是九十年代神经网络研究的巅峰之作，现代基于深度学习的语音识别系统都是在这些概念上继续扩展的。

在 2000 年，Bengio 等研究者发表了一篇具有里程碑意义的论文《A Neural Probabilistic Language Model》，该论文引入了高维词嵌入作为词义的表征方法。Bengio 的观点对自然语言处理任务产生了巨大而持久的影响，包括机器翻译、知识问答、视觉问答等等。他的研究团队还提出了一种注意力机制，该方法直接导致了机器翻译领域的突破，并构成了深度学习序列建模的关键组成部分。

自 2010 年以来，Bengio 非常关注生成式深度学习，特别是他与 Ian Goodfellow 等研究者提出的生成对抗网络（GAN），这项研究引起了计算机视觉和计算机图形学的革命。这项工作令人惊奇的地方在于，计算机能生成与原始图像相媲美的图像，这难免让人联想到人类水平的创造力。

Yann LeCun

ACM 表示 Yann LeCun 主要有三大重要贡献：

• 提出卷积神经网络
• 改进反向传播算法
• 拓宽神经网络的视角

20 世纪 80 年代，LeCun 构建了卷积神经网络，这是该领域的一项重要理论，对于提高深度学习效率至关重要。20 世纪 80 年代后期，LeCun 就职于多伦多大学和贝尔实验室，也是在这一时期，它利用手写数字图像训练了第一个卷积神经网络系统。如今，卷积神经网络已成为计算机视觉、语音识别、语音合成、图像合成和自然语言处理领域的行业标准。卷积神经网络有着广泛的应用，如自动驾驶、医学图像分析、语音助手和信息过滤等。

改进反向传播算法，LeCun 提出了一个早期版本的反向传播算法（backprop），并基于变分原理给出了一个清晰的推导。他加速反向传播算法的工作包括描述加快学习速度的两个简单方法。

LeCun 的贡献还包括拓宽神经网络的研究视角，他将神经网络发展为一种计算模型，用到一系列任务中，他早期工作中的一些概念已成为 AI 发展的基石。例如，在图像识别领域，他研究了如何在神经网络中学习分层特征表征——这一概念现在经常用于许多识别任务。他和 Leon Bottou 一起提出：学习系统可以被构建为复杂的模块网络，在这个网络中，反向传播通过自动微分来执行，这一理念用在每一个现代深度学习软件中。他们还提出了可以处理结构化数据的深度学习架构，如「图」（graph）。

整理自[机器之心]