深度学习真的不需要理论指导了?图灵奖得主讲座无人问津,贝叶斯之父Judea Pearl落寞身影背后引人深思

【导读】最近NIPS 2017 "Test of Time"论文大奖获得者Ali Rahimi 在长滩现场的演讲中把机器学习称为“炼金术”(Alchemy)引起机器学习界的大讨论,不难理解深度学习理论的研究似乎真的陷入了尴尬的境地。与此同时,寂寞的背影,听者寥寥的会场,图灵奖得主同时也是贝叶斯之父 Judea Pearl 的报告似乎并没多少人关心。而报告的题目《机器学习的理论障碍》(Theoretical impediments to machine learning)正是关于Judea Pearl对机器学习特别是深度学习背后理论的思考。

NIPS 2017 "Test of Time"论文大奖获得者Ali Rahimi 在长滩现场的演讲中抱怨当前机器学习尤其是深度学习使用的很多方法缺少(理论)理解。而Lecun则回怼说:仅仅因为理论没有追赶上实践的水平,就批评整个机器学习社区使用「炼金术」,这种言论是危险的。

CMU大学教授,Petuum公司创始人Eric Xing则在看到这组图后表示:这是NIPS2017大会上一个让人难过的场景。成为一个单纯的“炼金术师”并不可耻,可耻的是并不努力从“炼金术师”学成“化学家”。 意思是仅仅反复的做工程实践并没有什么不对的,但是还应该想想背后的原理。(不想当将军的士兵不是好兵?)

图是Judea Pearl演讲的会场

▌Judea Pearl简介

Judea Pearl 曾获得2011年的图灵奖,奖励他在人工智能领域的基础性贡献,他提出概率和因果性推理演算法,彻底改变了人工智能最初基于规则和逻辑的方向。他主要的研究领域是概率图模型和因果推理,这是机器学习的基础问题。图灵奖通常颁给纯理论计算机学者,或者早期建立计算机架构或框架的学者。

Judea Pearl 是 UCLA 计算机科学系的教授,他曾两次居于科学革命的中心:第一次是在 20 世纪 80 年代,他为人工智能引入了一套新的工具,叫贝叶斯网络。这种基于概率的机器推理模型使得机器能在复杂的、模糊的和不确定性的环境下工作。短短几年内,贝叶斯网络就完全替代了此前基于规则的人工智能方法。

第二次革命,鉴于贝叶斯网络在计算上的优势,Pearl 意识到简单的图模型和概率论(正如贝叶斯网络中的那样)也能用于因果关系的推理。这一发现为人工智能的发展奠定了另一个基础,但意义远非如此,这一能验证因果关系的、条理性的数学方法,几乎已经被所有科学和社会科学领域采用。

Judea Pearl 还是一名美国国家工程院院士,也是 AAAI 和 IEEE 的资深会员,是以他儿子姓名命名的 Daniel Pearl 基金会的主席(他的儿子Daniel Pearl曾是华尔街日报记者,2002年被巴基斯坦恐怖份子绑架并斩首,为这事美国还专门拍了一部电影 ” A Mighty Heart” 。)

场外JudeaPearl亲自讲解自己的工作

http://web.cs.ucla.edu/~kaoru/theoretical-impediments.pdf

▌理论在深度学习中的作用

AliRahimi 阿里引起的理论之争一石激起千层浪,网络上出现了更多机器学习界的代表发声。今天芝加哥丰田研究院教授DavidMcAllester发表博文进行解读,以下内容为McAllester的观点:

这篇博文的主要受Ali Rahimi最近的NIPS演讲和Lecun回怼的启发。

https://www.reddit.com/r/MachineLearning/comments/7hys85/nalirahimistalkatnipsnips2017testoftime/

https://www.facebook.com/search/str/yann+lecun+alchemy/keywordssearch

这个研究话题从根本上就是理论和深度学习的关系。我将从Ali的演讲中摘抄一些引用。

Rahimi

机器学习已经成为炼金术。

炼金术是有效的(对于很多事情)。

但科学家已推翻二千年的炼金术的理论。

我想生活在一个社会,这个社会的制度建立在可证实的严谨的知识上,而不是炼金术上。

LeCunn

理解(理论或其他)是一件好事。但是仅仅因为理论没有追赶上实践的水平,就批评整个机器学习社区使用「炼金术」,这种言论是危险的。

为什么危险?正是这种态度使机器学习社区放弃神经网络 10 年有余,尽管大量实证研究证明神经网络在很多情况下非常有效。

我从根本上同意Yann的观点,他认为苛刻的要求会误导一个领域。也许最危险的是要用成熟的数学理论来打动同行,而不是寻求真正的进步。

但我想在这场辩论中加入我自己的观点。我将再次引用Rahini:

Rahini:

当一个深度网络不起作用时,我认为它是梯度下降的错误。

梯度下降是深度学习的基石。梯度下降是局部搜索的一种形式。以下是一些局部搜索的例子:

内燃机从十九世纪九十年代到二十世纪的演变。

摩尔定律指导下近50年来半导体工艺的发展。

包括人类大脑进化的生物进化。

从希腊数学到现代数学的演变。

Alphago zero训练时间,通过自我下棋成为世界上最强大的国际象棋程序。

局部搜索确实是神秘的。但是,我们真的能期待一个严格的局部搜索理论来预测或解释人脑的进化或数学知识的历史演变吗?我们真的可以期待通过某种梯度下降的二阶分析来预测未来二十年将出现哪些数学理论?我的立场是,局部搜索(梯度下降)是非常强大的,从根本上超出了任何完全严格的理解。

如今的计算能力已经达到了这样的水平:强大GPU加上强大架构设计上的梯度下降只能被理解为某种形式的非常强大的通用非凸局部搜索,其性质类似于上述例子。是的,特定的神经网络训练失败是梯度下降(局部搜索)的失败。但是那个观察提供提供的信息很少。

一个相关的问题是在通用人工智能(AGI)中时间帧上的方位。严谨是否有助于实现AGI? 也许即使是Rahini也会发现对AGI的严格处理是不可能的。一个严谨者的普遍反应是,AGI太远太扯淡。但是,我觉得我们离得很近,这更让人兴奋。

我写了一篇关于关于近期的机器感知的合理性的博客文章(https://machinethoughts.wordpress.com/2017/07/22/the-plausibility-of-near-term-machine-sentience/)。

我相信洞察结构是可能的,而这种洞察可以成功地指导设计。LSTMs出现在1997年,因为有克服梯度小时的一种“理论洞察力”。理解批量标准化是克服内部协变量转换的一种方法,我确实认为我是在直观的层面来理解(我很乐意解释它)。直觉的非严格的理解是理论理解的基础。

20多年前,Fernando Pereira(可能他是引用别人)对我说“探险家”和“定居者”。探险者首先看到地形(没有严谨),定居者清理它(严谨)。考虑微积分或傅立叶分析。但在局部搜索的情况下,我不认为定理(定居者)将会解决它。

在我看来,一般局部搜索(AGI)的进展将来自寻找正确的计算模型——正确的通用架构——用于定义“强”局部搜索空间的结构。我已经写了一篇关于搜索一般认知架构的博文(https://machinethoughts.wordpress.com/2016/06/20/cognitive-architectures/)。

输或赢,我个人打算继续追求AGI。

参考文献:

https://machinethoughts.wordpress.com/2017/12/08/the-role-of-theory-in-deep-learning/

本文来自企鹅号 - 专知媒体

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏新智元

NIPS2018大会门票遭疯抢!11分钟秒光,刷个牙就没了

昨天,神经信息处理系统大会(Neural Information Processing Systems,NIPS)开放注册,会议门票在短短11分钟内就售罄;半小...

25320
来自专栏量子位

谷歌大脑QT-Opt算法,机器人探囊取物成功率96%,Jeff Dean大赞

11030
来自专栏计算机视觉战队

2018年暑假最全的干货总结

之前很多读者反映新人和旧人得分的明细一些,那今天先总结一下本平台自创办以来一些经典的干货和实验等,希望对大家有所了解~

11920
来自专栏ATYUN订阅号

AI通过分析建筑规划来解释一个地区的肥胖水平

在21世纪,肥胖率空前增长,对健康和医疗体系的毁灭性影响已经得到了很好的证明。尽管有数十项研究着眼于一些有助于体重增加的健康措施,但这种流行病仍在继续。

9930
来自专栏AI研习社

博客 | 玩转「马里奥」的算法能搞定「口袋妖怪」吗?

现在,你很可能已经听说过机器人玩游戏的水平超过人类了吧。这些机器人的一种设计方法是给它们明确地编程,设定一组输入和一组输出之间的对应关系;或者也可以让它们自主学...

10340
来自专栏AI科技评论

大会 | CVPR VUHCS Workshop征稿啦,附带5项极具吸引力的比赛

AI 科技评论按:CVPR 2018 将于 2018 年 06 月 18-22 日在美国盐湖城举办,除了主会议程,各式各样的 Workshop 也值得大家一探究...

28940
来自专栏AI科技评论

中科院百人计划专家深度解析:银行业务光凭“刷脸”真的靠谱吗?

雷锋网按:本文内容来自云从科技创始人、中国科学院百人计划周曦博士在硬创公开课的分享。在未改变原意的基础上进行了编辑整理。 明明可以靠脸吃饭”这句话不再只是一个网...

39060
来自专栏AI科技大本营的专栏

《极限挑战》罗志祥遭套路“破产”,我们却看到了更大的危机

游戏中,急于与王迅猜拳赢得胜利的罗志祥,亲手将一个市值和利润率颇高的公司送入破产。相反,黄磊公司虽没有特别良好的市场竞争力,但得益于资深经理人的协助,他利用各种...

9330
来自专栏AI科技评论

观点 | 玩转「马里奥」的算法能搞定「口袋妖怪」吗?

AI 科技评论:现在机器人玩游戏的水平甚至已经超过了人类,然而对于不同的游戏,一个算法是否全部搞定呢?软件开发者 Shayaan Jagtap 就以「马里奥」这...

9520
来自专栏大数据文摘

AI教父Geoff Hinton和深度学习的40年

因为伤了背,Geoff Hinton已经站着工作了12年,似乎巧合地迎合了现在“站立工作”的这股风潮。

11820

扫码关注云+社区

领取腾讯云代金券