深度学习是否以蛮力取胜?

Vladimir Vapnik 介绍:

Vladimir Vapnik 被称为统计学习理论之父,他出生于俄罗斯,1990 年底移居美国,在美国贝尔实验室一直工作到 2002 年,之后加入了普林斯顿的 NEC 实验室机器学习研究组,同时任哥伦比亚大学特聘教授。2006 年,Vladimir 称为美国工程院院士。2014年 Vladimir Vapnik 加入 Facebook 人工智能实验室。Vladimir Vapnik 在机器学习上有很多奠基之作,例如 Vapnik–Chervonenkis 理论,Vladimir 是主要发明者。

Facebook 去年底挖来了一个机器学习大神 Vladimir Vapnik,他是统计学习理论和支持向量机的主要发明者。近日 Vladimir 在 Yandex(俄罗斯最大的搜索引擎公司)大会上发表了讲话,重点讨论了深度学习是否以蛮力取胜?

来自加利福尼亚大学圣地亚哥分校的 Zachary Chase Lipton 博士详细记录了会议内容,并整理成文章如下:

上周,我来到柏林参加机器学习:展望和应用大会。这个大会由 Yandex(俄罗斯最大的搜索引擎公司)举办,主要谈了 Deep Learning 和 Intelligent Learning 两个问题,它们经常作为对比的概念出现。

虽然我自己也是演讲者之一,但是整个会议的高潮部分,还是关于深度学习的方法论,其中经验主义和数学推理中的矛盾部分。

第一条是关于深度学习的晚宴,讨论的是背后的数学支撑,以及未来的方向。问题包括了模型的可解释性和医疗领域的应用。到了周三晚上,Vladimir Vapnik 也参与了讨论,说的是知识如何在不同的个体之间传递。Vladimir 的哲学观横跨了机器学习、数学和智能的源头,并且挑战了深度学习的方法论,这很有争议。

其实在今年夏天,我就写文章说机器学习的成功,是大数据时代经验主义的胜利。在里面我强调说,过度去拟合数据,虽然能在真实数据中得到检验,但里面会有很大风险,至少比基于数学推理建立的系统风险大得多。在这次会议中,我听到了 Vladimir 在这方面的观点。

为了避免混淆视听,我得强调:我是一个深度学习的实践者。我个人并不否认深度学习,而且对它的先行者和火炬手充满尊敬。但我也同样相信,我们应该对深度学习的可能性抱有开放性的态度:

即会有一些数学模型,能够更好的指明未来发展方向,开启新的方法论。

很显然,当我们去咀嚼和消化这些观点的时候,能够得到很大的价值。

大数据与深度学习是一种蛮力?

尽管 Vapnik 当场说了很多观点,但是最核心的还是援引了爱因斯坦关于上帝的隐喻。简单的说,Vapnik 假设了一个理论,想法和直觉要么来自上帝,要么出自魔鬼。而区别在于,上帝是智慧的,而魔鬼往往不是。

在作为数学家和机器学习研究和践行者的生涯中,Vapnik 得出了一个结论:魔鬼往往来自于蛮力( Brute Force)。进一步说,如果承认深度学习系统在解决问题时不可思议的表现,那么大数据和深度学习,都有某种蛮力的味道。

(这时候一名观众提问:进化是否来自于蛮力?但 Vapnik 以不喜欢猜测为由拒绝给出回答。)

不过,我自己并不同意深度学习必须等同于机器蛮力。我们如今也能看到对于大数据的观点争论,其中 Vapnik 和 Nathan Intrator 教授就说,小孩不需要几亿的标签样本以完成学习。虽然有大量带有标签的数据时,学习会成为一件比较容易的事,但如果依赖这样的方法,我们就错失了自然界中关于学习的基本原理

也许,真正的学习只需要数百样本,而我们现在却只有非常大的数据量才能完成学习。如果我们不去探寻学习的本质,那就说屈从于懒惰。

深度学习还是深度工程?

我们现在的深度学习并非科学。确切的说,机器学习和核心任务是理解计算本身,而现在的方法和它有所背离。这就好比任务是制造小提琴,而我们扮演的角色不过是小提琴演奏者,虽然也能创作美妙的音乐,也有演奏的直觉,但我们并不知道小提琴如何创造出音乐。

进一步说,很多深度学习实践者,他们对数据和工程有很好的感觉,但其实不知道里头是怎么回事。所以在目前的深度学习方法中,参数的调节方法依然是一门“艺术”,而非“工艺”。

在算法和模型上,我们是否能发明所有东西?

Vapnik 认为,在机器学习的算法和模型上,我们并不能发明所有东西。他坚持向现场观众说,他自己并没有如此的聪明才智,以完成这些算法模型的发明。(这似乎也在暗示,其他人也没有那么聪明,去发明这些玩意)

按照 Vapnik 的意思,我们在机器学习上发明的东西是微不足道的。真正重要的东西,来自于我们对数学本质的理解。就深度学习来说,模型经常被发明出来,品牌化并申请专利,但这些相比于真正由数学驱动的机器学习,就显得很一般了。

相关性科学和因果性科学

关于深度学习的反思,来自纽约州立大学的顾险峰教授也有很多理解。前些时间顾险峰教授给新智元投稿,谈到了机器学习研究范式的变迁,以及背后不足的地方。

顾险峰认为,深度学习方法深刻地转变了学术研究的范式。以前学者们所采用的观察现象,提炼规律,数学建模,模拟解析,实验检验,修正模型的研究套路被彻底颠覆,被数据科学的方法所取代:收集数据,训练网络,实验检验,加强训练

在深度学习新方法下,严格的数学推理缺失了。比如说地图四色定理的证明,数学家将平面图的构型分成 1936 种,然后用计算机逐一验证。当然在足够的算力下,这可以证明地图四色定理。但是在这个过程中:

没有新颖概念提出,换言之,机械蛮力代替了几何直觉。

而在数学历史上,对于一个著名猜想的证明和解答,答案本身并不重要,在寻找证明的过程中所凝练的概念,提出的方法,发展的理论才是真正目的所在。机械定理证明验证了命题的真伪,但是无法明确地提出新的概念和方法,实质上背离了数学的真正目的。

所以说,这是一种“相关性”而非“因果性”的科学。历史上,人类积累科学知识,在初期总是得到“经验公式”,但是最终还是寻求更为深刻本质的理解。例如从炼丹术到化学,量子力学的发展历程。

人类智能最为独特之处也在于数学推理,特别是机械定理证明,对于这一点机器学习方法是无能为力的。当人的数学推理缺失的时候,仅仅依靠机器蛮力,就会遇到很大的制约。

原文发布于微信公众号 - 新智元(AI_era)

原文发表时间:2015-10-14

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据文摘

重磅清单 | 当前AI领域尚未攻克的29个难题及进展评估(附百篇文献)

1803
来自专栏AI科技大本营的专栏

你走过最长的路,就是机器学习过程中的弯路

营长的一位转型AI的朋友,最近对营长抱怨,“走过的最远的路,就是机器学习过程中的弯路”,然后开始各种blablabla,从论文的坑,到模型的坑,再到培训的坑.....

34410
来自专栏大数据和云计算技术

似懂非懂Google TPU 2.0

前面刚学习了Google的第一代TPU,写了篇《似懂非懂Google TPU》,很多朋友一起讨论,纷纷议论说好像也不是很牛逼?怎么可能,Google在技术上还是...

2824
来自专栏窗户

数学对于人类意味着什么

  这个话题是个很常见的话题,也是一个很难说明的问题。每当闲着无事的时候,我都会去思考一下关于数学的问题。正值假期,我有很多的时间来思考。   昨天大年三十,母...

33712
来自专栏AI科技评论

AI科技评论专访田渊栋:AlphaGo之后,研究智能围棋还有什么意义?

没有什么是永垂不朽的,没有什么会一直昌盛,所以我宁愿做点真正有意义的事情,来致敬这个风起云涌的人工智能时代。 -------题记 近日,田渊栋受地平线曾经在Fa...

2594
来自专栏新智元

【深度】空空如也的大脑 | 为什么科学家把人类当成了计算机?

【新智元导读】借鉴脑科学的研究,是否有助于发展人工智能?《今日心理学》前主编、心理学家 Robert Epstein 日前在 Aeon 刊文,指出将大脑比作计算...

2905
来自专栏大数据文摘

重振人工智能雄心壮志的时刻已经到了

2028
来自专栏IT派

机器学习:3个知乎大神回答、5个新人常见问题和3个学习规划

最近一位转型AI的朋友抱怨,“走过的最远的路,就是机器学习过程中的弯路”,然后开始各种blablabla,从论文的坑,到模型的坑,再到培训的坑...一路吐槽。

930
来自专栏理论坞

谷歌方法论:系统学习和机器思维

    你可能并不同意其中观点,但我一直笃信的是:一篇文章或一个观点,包括一部电影,是都不会让100%人满意的;

993
来自专栏钱塘大数据

吴军:数学为人生之题解出漂亮的答案

如果用当下比较流行的说法来概括吴军的身份,他便是会摄影、会写作的计算机科学家中最爱发微博的投资人——几乎很难用一句话涵盖“吴军博士”(吴军的微博昵称)会做什么、...

1005

扫描关注云+社区