寒冬!100万$图灵奖颁给熬过寒冬的深度学习三巨头

据官方公告介绍,因三位巨头(Hinton、Bengio、LeCun)在深度神经网络概念和工程上的突破,使得 DNN 成为计算的一个重要构成,从而成为 2018 年图灵奖得主。

https://amturing.acm.org/byyear.cfm

回顾图灵奖十年以来,这是第三次颁给机器学习领域的杰出贡献者了:

  • 2011 年图灵奖得主为 Judea Pearl,他开发的概率与因果推理微积分为人工智能发展做出了重大贡献;
  • Leslie Gabriel Valiant 获得了 2010 年图灵奖,为计算理论的发展作出了变革性贡献,包括 PAC 学习理论、并行与分布计算理论等;

Hinton、Bengio、LeCun,相信读者对这三位巨头的名字已经耳熟能详。

Yoshua Bengio 是蒙特利尔大学教授、魁北克人工智能机构 Mila 的科学主管。Geoffrey Hinton 是谷歌副总裁、工程研究员,也是 Vector Institute 的首席科学顾问、多伦多大学 Emeritus 荣誉教授。Yann LeCun 是纽约大学教授、Facebook 副总裁和首席 AI 科学家。

主要技术成就

今年图灵奖得主的技术成就带来了 AI 技术的极大突破,包括但不限于以下成果。

Geoffrey Hinton

ACM 表示 Geoffrey E Hinton 主要有三大重要贡献:

  • 反向传播
  • 玻尔兹曼机
  • 对卷积神经网络的修正

在 1986 年的一篇论文中,Hinton 与 David Rumelhart 和 Ronald Williams 提出了反向传播,这篇论文即著名的《Learning Internal Representations by Error Propagation》。Hinton 等研究者表示反向传播算法允许神经网络探索数据内部的深层表征,因此神经网络才能解决以前被认为无法解决的问题。反向传播目前已经成为训练深度神经网络所必需的算法。

1983 年,Hinton 和 Terrence Sejnowski 提出了玻尔兹曼机,它是第一个能学习神经元内部表征的深度神经网络,这种表征既不是输入也不是输出的一部分。

到了 2012 年,Hinton 与他的学生 Alex Krizhevsky 和 Ilya Sutskever 为卷积神经网络的发展做出了重要贡献。他们率先使用修正线性神经元(ReLU)和 Dropout 正则化大大提升了深度卷积神经网络的性能。在当年的 ImageNet 竞赛中,Hinton 和他的学生几乎将图像识别的误差率减半,这一次挑战赛重塑了计算机视觉领域。

Yoshua Bengio

ACM 表示 Yoshua Bengio 主要有三大重要贡献:

  • 序列的概率建模
  • 高维词嵌入与注意力机制
  • 生成对抗网络

在上个世纪九十年代,Bengio 提出将神经网络与序列的概率建模相结合,例如隐马尔可夫模型这种序列的概率建模方法。这些创新观点被 AT&T/NCR 所接受,并用于阅读手写支票,该系统被认为是九十年代神经网络研究的巅峰之作,现代基于深度学习的语音识别系统都是在这些概念上继续扩展的。

在 2000 年,Bengio 等研究者发表了一篇具有里程碑意义的论文《A Neural Probabilistic Language Model》,该论文引入了高维词嵌入作为词义的表征方法。Bengio 的观点对自然语言处理任务产生了巨大而持久的影响,包括机器翻译、知识问答、视觉问答等等。他的研究团队还提出了一种注意力机制,该方法直接导致了机器翻译领域的突破,并构成了深度学习序列建模的关键组成部分。

自 2010 年以来,Bengio 非常关注生成式深度学习,特别是他与 Ian Goodfellow 等研究者提出的生成对抗网络(GAN),这项研究引起了计算机视觉和计算机图形学的革命。这项工作令人惊奇的地方在于,计算机能生成与原始图像相媲美的图像,这难免让人联想到人类水平的创造力。

Yann LeCun

ACM 表示 Yann LeCun 主要有三大重要贡献:

  • 提出卷积神经网络
  • 改进反向传播算法
  • 拓宽神经网络的视角

20 世纪 80 年代,LeCun 构建了卷积神经网络,这是该领域的一项重要理论,对于提高深度学习效率至关重要。20 世纪 80 年代后期,LeCun 就职于多伦多大学和贝尔实验室,也是在这一时期,它利用手写数字图像训练了第一个卷积神经网络系统。如今,卷积神经网络已成为计算机视觉、语音识别、语音合成、图像合成和自然语言处理领域的行业标准。卷积神经网络有着广泛的应用,如自动驾驶、医学图像分析、语音助手和信息过滤等。

改进反向传播算法,LeCun 提出了一个早期版本的反向传播算法(backprop),并基于变分原理给出了一个清晰的推导。他加速反向传播算法的工作包括描述加快学习速度的两个简单方法。

LeCun 的贡献还包括拓宽神经网络的研究视角,他将神经网络发展为一种计算模型,用到一系列任务中,他早期工作中的一些概念已成为 AI 发展的基石。例如,在图像识别领域,他研究了如何在神经网络中学习分层特征表征——这一概念现在经常用于许多识别任务。他和 Leon Bottou 一起提出:学习系统可以被构建为复杂的模块网络,在这个网络中,反向传播通过自动微分来执行,这一理念用在每一个现代深度学习软件中。他们还提出了可以处理结构化数据的深度学习架构,如「图」(graph)。

整理自[机器之心]

原文发布于微信公众号 - 机器学习算法与Python学习(guodongwei1991)

原文发表时间:2019-03-29

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

扫码关注云+社区

领取腾讯云代金券