动态 | 深度学习的爆发要归功给谁?Yann LeCun、François Chollet各执一词

AI 科技评论按:自从深度学习在各项任务中频频取得佳绩、人工智能的研究员也越来越受追捧以来,许多人都加入了相关领域开始工作或者学习。不过,除了元老级的教授和研究人员之外,恐怕多数后来者都不是特别清楚神经网络的干柴是如何被点燃成熊熊烈火的。

近日 Ian Goodfellow、François Chollet、Yann LeCun 等人就在推特上简单讨论了「深度学习是怎么火起来的?应该归功给谁?」雷锋网 AI 科技评论把他们的讨论内容整理如下。

Ian Goodfellow

「GANs 之父」、谷歌大脑高级研究员 Ian Goodfellow 首先发推说道:

「看到很多人把深度学习看作是通过反向传播完成的监督学习,这事真的很奇怪,要知道 2006 年的深度学习革命最初就是基于反向传播和监督学习两件事都不是很奏效的观点的。」

在这条推文下面与网友的讨论中,Ian Goodfellow 也继续补充说明了自己的观点:

  • 监督学习和基于梯度的优化方法,两者的实际表现都比人们开始想象的要好,所以做深度学习的人才开始用它们了。
  • (回复网友「Hinton 的无监督预训练和深度置信网络并没能给深度学习带来什么突破。6 年后使用了监督学习和反向传播的 AlexNet 才是突破(当然了还有 GPU、卷积层、ReLU、dropout)」)无监督预训练和深度置信网络是另一件 2006 开始的更大的变革的一部分。Yoshua 的实验室在去噪和压缩自动编码器的堆叠上做了很多工作,Yann 的实验室在预测性稀疏分解等模型的堆叠上做了很多工作。

François Chollet 和 Yann LeCun

Keras作者、谷歌大脑高级研究员 François Chollet 几个小时后也发出推文:

「我看到很多人都言之凿凿地说深度学习的大爆发开始于 Krizhevsky 等人 2012 年的成果。但是我很少看到有人记得 Ciresan 等人也有功劳,他们 2011 年的时候就用 CUDA 实现深度卷积网络、在 NVIDIA GPU 上训练,并赢得了图像分类比赛冠军。」「我指的是 IJCNN 2011 上的德国交通信号灯识别比赛,以及 ICDAR 2011 中文手写字符识别比赛。」

然后(话很多的) François Chollet 也在下面评论区继续着讨论,「CNN之父」、Facebook 人工智能实验室总监 Yann LeCun 也参与了进来:

  • François:我还记得自己在 2014 年的时候问过 Dan Ciresan 怎么看 Torch7,那时候我还是 Torch 用户。他给我的回答简单总结一下是说,他觉得里面的 bug 一串接着一串没法用,他还是更喜欢用自己写的 CUDA 代码。那时候我不太赞同他的立场(现在也不)。
  • Ian:这篇论文里的卷积网络在CUDA出现之前就用了 GPU https://hal.inria.fr/inria-00112631/document
  • Yann:回复 Ian :没错。那个时候(2005 年)微软研究院的 Patrice Simard 还需要向 NIVIDA 要一些专用文件。把多重卷积操作转换成矩阵乘积比较快的这件事是他的团队首先发现的。
  • François:回复 Ian :你觉得哪个是更大的突破?是卷积网络在 GPU 上运行得更快了,还是卷积网络可以赢下参与者众多的图像分类比赛?
  • Ian:回复 François :2011 年的时候我也用 GPU 上跑的卷积网络赢过机器学习比赛(NIPS 的迁移学习比赛),不过我没觉得这是深度学习大爆发的开始
  • Yann:回复 François :后者更重要。其实在用上 GPU 、拿下交通信号灯比赛冠军之前,卷积网络就在一系列 benchmark 中取得了最佳成绩。只是那时候整个社区还不相信卷积网络,或者是觉得这之间没什么联系。ImageNet 比赛改变了这一切。
  • François:回复 Ian :我觉得没人会低估 AlexNet 一举掀起深度学习热潮的重要意义(明摆着的)。不过同时也很难否认这就是当时的浪潮的一部分。讨论归功给谁很复杂,我们这个社区在这件事情上并没有一直做得很好。
  • François:回复 Ian :再说明白一点:讨论做出的贡献的时候,人们往往会掉进「赢者通吃」的观念里,把创新的想法看作是逐渐的积累过程,而其实宏观的趋势可能要比单个人的贡献更重要。

总结

讨论最后总结一下,三个人表达的意思分别是:

Ian Goodfellow:神经网络发生革命的原因并不是反向传播和监督学习,它们只是如虎添翼。GPU 的使用也并不是革命性因素。

François Chollet:当时的趋势就是很多人都在用 GPU 运行神经网络,我们事后不应该只归功给 AlexNet。

Yann LeCun:在 AlexNet 之前,运行在 GPU 上的卷积神经网络就已经成绩斐然,但正是 AlexNet 在 ImageNet 比赛上的亮眼表现成功赢得了整个领域的关注。

过去的事情毕竟已经过去了,不过这简单的回顾也提醒了我们,一方面不要把反向传播和有监督学习看作是深度学习的理所当然,另外也要正确认识技术趋势和其中涌现出的典型成果之间的关系。

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2018-01-22

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏PPV课数据科学社区

练功 | 机器学习应补充哪些数学基础?

编者按:很多同学开始学习机器学习时候遇到的最大障碍就是数学基础,机器学习到底需要学习哪些数据知识?要掌握到什么程度呢?希望这篇文章对于大家学习大数据和机器学习有...

372100
来自专栏人工智能头条

CCAI 2017 | 日本理化学研究所先进智能研究中心主任杉山将:弱监督机器学习的研究进展

10340
来自专栏ATYUN订阅号

AI结合人工X射线准确识别医学图像中的罕见情况

一种新的人工智能系统通过人工X射线训练,有助于研究人员识别医学图像中罕见的医学状况。

21020
来自专栏AI科技评论

干货 | 深度学习的可解释性研究(一):让模型「说人话」

不以人类可以理解的方式给出的解释都叫耍流氓,因此,我们要让模型「说人话」。只要记住这三个字,你就差不多把握了可解释性的精髓所在。

15030
来自专栏机器之心

业界 | 弱监督学习下的商品识别:CVPR 2018细粒度识别挑战赛获胜方案简介

2011 年,谷歌开始赞助举办第一届 FGVC Workshop,之后每两年举办一次,到 2017 年已经举办了第四届。而由于近年来计算机视觉的快速发展,FGV...

22520
来自专栏机器之心

你的论文能否中顶会?这篇分析同行评审结果的论文可帮助你

23940
来自专栏新智元

11位机器学习大牛最爱算法全解

【新智元导读】“你最喜欢的机器学习算法是什么?”这个问题有些像“你最喜欢的颜色是什么?”说不重要吧,细究起来,颇有深意。本文摘选一些机器学习大牛在 Quora ...

39780
来自专栏AI研习社

BAT资深算法工程师Deep Learning读书分享

「Deep Learning」是机器学习领域的重磅书籍,不管你有没有入手开始阅读,AI 研习社都希望给大家提供一个共同讨论、共同提高的机会。我们请来了曾在百度和...

395100
来自专栏CreateAMind

自动驾驶核心技术之三:环境感知

自动驾驶四大核心技术,分别是环境感知、精确定位、路径规划、线控执行。环境感知是其中被研究最多的部分,不过基于视觉的环境感知是无法满足无人驾驶要求的。

54020
来自专栏机器之心

GMIS 2017大会邓力主题演讲:无监督学习的最新进展

机器之心原创 记者:蒋思源 全球机器智能峰会(GMIS 2017),是全球人工智能产业信息服务平台机器之心举办的首届大会,邀请了来自美国、欧洲、加拿大及国内的众...

30560

扫码关注云+社区

领取腾讯云代金券