观点 | NIPS 2017经典论文奖获得者机器学习「炼金术」说引热议,LeCun发起反驳

机器之心报道

参与:路雪、刘晓坤、李泽南

去年的 NIPS 曾因 GAN 引发了一场风波,而今年的 NIPS 同样有着不同思想的碰撞,而这场机器学习「炼金术」讨论竟是从大会颁奖典礼上开始的。

谷歌研究员,MIT 博士 Ali Rahimi 获得了今年 NIPS Test of Time 大奖,他在颁奖时上做了一番演讲,主要介绍之前的研究成果,他在演讲中还打了个比方「机器学习是炼金术」,但这一言论遭到了 Yann LeCun 的反驳。在这篇文章中我们将看到不同思想的碰撞。

视频内容

Ali Rahimi 的完整演讲视频

Ali Rahimi 在演讲中说道:

「吴恩达曾说过,机器学习就像是新时代的电力。我却认为,机器学习正在变成新时代的炼金术。炼金术本身并不坏,它引出了冶金、纺织、玻璃制造,也推动了人类医疗科技的发展;但与此同时,炼金术师还用水蛭来给人治病,希望让其他金属变成金子。」

「对于 18 世纪的物理学和化学而言,想要理解宇宙的法则,科学家们需要努力抵抗有两千年历史的炼金术的不利影响。」

「现在,如果我们想要做一个图片分享系统,『炼金术』是可以奏效的。但我们的需求早已不止这些了。我们正在试图构建基于人工智能的医疗服务系统、对话系统,我们的机器学习系统甚至影响了大选结果。我希望我所生活的世界是基于非常稳固、有规律的、理论性的知识之上的——而不是炼金术之上。」

「过去 NIPS 大会上经常出现的『学术警察』在哪里?我非常怀念他们。」

……

「我们现在是这样构建新知识的:我们应用最好的工具,简单地分析自己做的设置,我们学习现象,然后在自己不理解背后原理的情况下完成了研究。就这么完成了。」

Yann LeCun 对此番言论表示道:

Ali Rahimi 在 NIPS 上的演讲很好,很有意思,但是我不同意他的观点。他的主要观点是机器学习的当前实践就像「炼金术」(alchemy)。

这种观点具有侮辱性,而且也是错误的!

Ali 抱怨当前机器学习尤其是深度学习使用的很多方法缺少(理论)理解。(理论或其他方面的)理解当然重要。这正是我们很多人参加 NIPS 大会的目的。但另一个重要目标是发明新方法、新技术和新技巧。

在科技发展史上,工程的发展几乎总是先于理论理解:镜头和望远镜的发展早于光学理论、蒸汽机的发展超越热动力学、飞机的发展快于空气力学、无线电和数据通信的发展快于信息理论、计算机的发展早于计算机科学。

原因何在?因为理论家本能地研究「简单的」现象,不主动研究复杂现象,除非它具备很重要的实践意义。

仅仅因为理论没有追赶上实践的水平,就批评整个机器学习社区使用「炼金术」,这种言论是危险的。

为什么危险?正是这种态度使机器学习社区放弃神经网络 10 年有余,尽管大量实证研究证明神经网络在很多情况下非常有效。

之前,神经网络和非凸损失函数不确保一定会收敛,不过它们在实践中是奏效的(和现在一样)。但是人们就这样不分良莠地将它舍弃,转而专注于「可证明」的凸方法或「被夸大的」模板匹配方法(甚至 1957 年的随机特征方法)。

坚持一套方法仅仅因为它的理论比较充分,并因此忽视另一套实践效果更好的方法,仅仅因为缺乏理论理解,这种做法何异于缘木求鱼(原文:就像你在街灯下找丢失的车钥匙,虽然心里明明知道丢钥匙的地方并不在这)。

是的,我们需要更好地理解方法。但是正确的态度是尝试改变现状,而不是因为现状没有得到改变而去侮辱整个社区。

我组织和参加过很多深度学习研究者和理论家参与的 workshop,有些 workshop 由 IPAM 举办。作为 IPAM 科学顾问委员会的一员,我的使命就是使深度学习获得数学社区的注意。事实上,我作为联合组织者组织了一场将于 2018 年 2 月举办的 workshop(http://www.ipam.ucla.edu/…/wo…/new-deep-learning-techniques/)。

如果你不满意我们对你们日常使用方法的理解,那么就去改变它:研究深度学习理论,而不是抱怨别人不去做这件事,也不是认为如果仅使用「理论正确」的方法,NIPS 会变得更好。并不是这样。

Ali Rahimi 的回复:

Yann,感谢你的理智回应。「If you don't like what's happening, fix it」正是 Moritz Hardt 一年前告诉我的话。仅靠一个小群体是很难做出重大成果的,说实话,我已经被这个任务的巨大规模所淹没而不知所措。我这次演讲的目的就是请求他人的帮助。

我认为问题并不在于理论,而在于教育。我呼吁的是简单的定理和简单的实验,从而让所有人能无障碍地交流各自的见解。你很擅长构建深度学习模型,是因为你运行实验的经验比多数人都丰富。想象一下新手的困惑处境吧。我们做的事情的确看起来像魔法,因为我们并不讨论技术细节,而是模型整体。入门的过程太神秘了。

我同意炼金术式的方法很重要,正是它们使我们加快速度。这些方法解决了很多紧迫的问题。

我很尊重那些能快速在大脑中构建直觉和可行系统的人。你和我在谷歌的大多数同事都具备这种能力,但你们只是少数。

我希望你们传授一些技术细节,帮助我们也能达到你们级别的生产能力。而这就需要:简单的实验,简单的理论。

Yan LeCun 的回复:

简单而通用的理论当然很好。

热力学理论告诉我们不要浪费时间寻找拥有 100% 效率的热机或者永动机。

机器学习中也已经有这样适用于所有学习机器包括神经网络的理论(例如,VC theory consistency/capacity、没有免费午餐定理等)。

但我们很可能不会有具体到神经网络的「简单」理论,就像纳维-斯托克斯方程和三体问题也没有解析解。

虽然目前机器学习的部分工具还存在「黑箱」区域,但这项技术毫无疑问正处在越来越快的发展过程中,正如 Ali Rahimi 在演讲中所说的,希望随着人们的努力,我们能够最终将「炼金术」转化为真正的「电力」。

本文为机器之心报道,转载请联系本公众号获得授权。

原文发布于微信公众号 - 机器之心(almosthuman2014)

原文发表时间:2017-12-08

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏新智元

17岁!Kaggle史上最年轻Grandmaster诞生:高中自学3年登顶

在AI和大数据圈的人,应该没有不知道Kaggle的,这是全球首屈一指的数据科学、机器学习竞赛和分享平台。去年被谷歌收购时还一度引发业界轰动。企业和研究者可以在K...

1382
来自专栏AI科技评论

干货 | 数学通大道,算法合自然?

算法对我们的生活中的有着各种潜移默化的影响,但算法是否存在被滥用的情况?本文对算法使用问题提出了自己的看法。

922
来自专栏人工智能头条

【CSDN AI 周刊】第11期 | 周志华提出深度森林 引发持续热议

1613
来自专栏大数据文摘

电商社交数据在大数据风控的应用实践

3414
来自专栏量子位

最强数据集集合:50个最佳机器学习公共数据集丨资源

外国自媒体mlmemoirs根据github、福布斯、CMU官网等信息,整理了一张50个最佳机器学习公共数据集的榜单,量子位为大家分享一下~

6376
来自专栏机器学习算法与Python学习

走近Hinton:AI教父传奇人生

三十多年以来,Geoffrey Hinton一直都处于人工智能研究的边缘地带。他像一个局外人一样坚守着一个简单的观点:计算机可以像人类一样,依靠直觉而不是规则进...

983
来自专栏CDA数据分析师

收藏丨学习数据科学不可错过的优质资源

大约两个月前,我开始学习数据科学。我并没有统计学、数学、数据科学、工程学、经济学方面的学位。说实话,在学生时代,数学和统计并不是我的强项,我更擅长语言方面。

941
来自专栏新智元

精品 | 2016三大深度学习峰会:顶级科学家360度剖析技术重点、应用关键及投资机会

【新智元导读】Re-Work上放出了本年度波士顿、伦敦、柏林的三大深度学习峰会的全部演讲视频,156位行业精英带来精彩演讲,其中包括 Yoshua Bengio...

43319
来自专栏专知

这是一篇论文评审吗?

【导读】面对如今每年数量暴增的AI领域顶级会议论文投稿量,作者Zachary C. Lipton在Approximately correct上发表了对论文评审的...

1312
来自专栏Vamei实验室

统计Go, Go, Go

结束了概率论,我们数据之旅的下一站是统计。这一篇,是统计的一个小介绍。 统计是研究数据的学科。它包括描述数据,推测群体信息,判断假设的真伪。统计是一门实用学科。...

1819

扫码关注云+社区

领取腾讯云代金券