马库斯再批深度学习:20年毫无进展,无法处理语言复杂性


新智元报道

来源:medium

作者:Gary Marcus 编辑:肖琴

【新智元导读】Gary Marcus再次撰文批判深度学习,这次,他回应了Bengio实验室关于语言理解的研究,认为该研究与他的观点不谋而合,即当前的深度学习技术无法处理语言的复杂性。他强调混合模型,与深度学习相结合。

Gary Marcus是纽约大学心理学与神经科学教授,但在AI领域,他更知名的是一直高调参与人工智能辩论。

Marcus称自己是“AI contrarian”。什么是“contrarian”?就是专门反对或批评流行观点的人。在AI领域,流行观点就是“深度学习”。

今年初,Marcus撰文批判深度学习,与Yann Lecun、AAAI前主席Thomas Dietterich等一众AI研究者展开激辩。

在批判深度学习的文章中,Marcus概括了深度学习的十大挑战,直言深度学习本身虽然有用,但它不可能实现通用人工智能。他建议把深度学习视为“一种非普遍的解决方法,而只是一种工具。”

他说:“相比纯粹的深度学习,我呼吁混合模型,不仅包括深度学习的监督形式,还包括其他技术,例如符号处理(symbol-manipulation),以及无监督学习(它本身也可能被重新概念化)。我也敦促社区考虑将更多的内在结构纳入AI系统。”

近日,Marcus在medium上发表文章《Bengio vs Marcus,以及神经网络语言模型的过去、现在和未来》 ,在这篇文章里,Marcus回应了Bengio实验室最近关于“当前的深度学习技术不足以应对自然语言的复杂性”的研究,认为该研究与他的观点不谋而合。

新智元对该文章编译如下:

过去

长期以来,很多研究人员担心神经网络是否能够有效地泛化(generalize),以捕捉语言的丰富性。这一直是我的工作的一个主题,从20世纪90年代以来就是如此。在我之前,认知科学领域的Fodor,Pylyshyn,Pinker以及Prince等人1988年就提出了非常类似的观点。Brenden Lake和他的合著者在今年早些时候也提出了类似的观点。

我在今年一月写了一篇关于这个话题的文章:

当可用的训练数据量有限时,或者当测试集与训练集的区别很大时,或者当示例空间非常大且充满新示例时,深度学习系统的表现就不那么好了。鉴于现实世界的局限性,有些问题根本不能被视为分类问题。比如说,开放式的自然语言理解就不应被认为是两个大型有限句子集间的映射,而是一个潜在的无限的输入句子范围和一个同样大的含义范围的映射,而且这里面很多是以前从来没有遇到过的。

现在

最近,Yoshua Bengio和他实验室的研究人员就写了一篇论文,从神经网络社区内部认同了认知科学界的一群外人(包括我自己)长期以来的观点:当前的深入学习技术实际上无法处理语言的复杂性。

这篇论文题为“BabyAI: First Steps Towards Grounded Language Learning With a Human In the Loop”,论文摘要里写道:

我们提出了强有力的证据,表明当前的深度学习方法在学习一门具有构式特征(compositional properties)的语言时,缺乏足够的样本效率。

这是一个非常普遍的问题,然而之前的文献完全没有讨论过。

无论如何,我很高兴Bengio的实验室跟我一直以来的观点是一致的,如我在Twitter上说:

关于深度学习及其局限性的大新闻:Yoshua Bengio的实验室证实了Marcus在2001年和2018年得出的一个关键结论:深度学习在数据处理方面不够有效,无法应对语言的构式本质。

论文地址如下:arxiv.org/abs/1810.08272

我的言论经常引起深度学习界许多人的反感。但Bengio回复的一条Facebook帖子引起了我的注意,他说:

这里的结论似乎有些迷惑性。根据我们的实验,我们是说目前的DL+RL在学习理解构式语言所需的样本复杂性方面还不能令人满意。但这与Gary的结论大不相同,因为我们相信我们可以继续取得进步,并在现有的深度学习和强化学习的科学基础上进行扩展。Gary明确地认为“深度学习的数据效率不足以处理语言的构式本质”,而我们认为当前的DL技术还可以增强,可以更好地应付的构式,这是系统泛化所必须的。这正是我们正在进行的研究,可以参考我的论文“The Consciousness Prior”。(https://arxiv.org/abs/1709.08568)

实际上,Bengio的意思是:我们还没有到达那个技术水平。

也许是这个意思。话又说回来,也许不是这个意思。也许深度学习就是永远无法让我们达成目标。我们至少需要考虑这种可能性。

20年前,我首次提出了这个观点——从反向传播工作的方式出发提的。在那时,出现了很多关于未知机制和未来成功的承诺。

这些承诺至今仍未兑现——20年过去了。投入进这些研究的资金达数十亿美元,而深度学习在语义合成性(compositionality)方面没有取得任何显著的进展。

在过去20年里唯一真正改变的是,神经网络社区终于开始注意到这个问题了。

未来

Bengio和我在很多方面都有共识。我们都认为现有的模型不会取得成功。我们都同意深度学习必须增强(augmented)。

然而问题是,增强是什么呢。

Bengio可以自由地阐述他的观点。

我的观点与我过去20年来的预测毫无二致:深度学习必须增强,借鉴经典符号系统的一些操作,也就是说我们需要混合模型,充分利用最好的经典AI(允许显式地表示阶级性结构和抽象的规则),并将其与深度学习的优势相结合。

许多(不是所有)神经网络的拥护者都试图避免在他们的网络中添加这样的东西。这并不是不可能的;这是普遍观念的问题。当然,仅靠深度学习目前还无法解决这个问题。也许是时候尝试别的方法了。

我不认为深度学习无法在自然理解方面发挥作用,只是我认为深度学习本身无法成功。

我的预测不变:如果没有固有的组合性工具来表示规则和结构化表示,语言理解的神经网络模型仍然几乎无法取得进展。

原文:

https://medium.com/@GaryMarcus/bengio-v-marcus-and-the-past-present-and-future-of-neural-network-models-of-language-b4f795ff352b


原文发布于微信公众号 - 新智元(AI_era)

原文发表时间:2018-10-31

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏专知

【专知AI日报0928】一文了解最新AI业界动态

【导读】《专知AI日报》,每天精选AI业界发生的最新最具有影响力的动态事件,为你简文速读了解。 1. 【Bengio一人署名论文,提出“意识RNN”,用4页纸进...

3445
来自专栏大数据文摘

让冰冷的机器看懂这个多彩的世界

3039
来自专栏新智元

【深度学习下一大突破】吴恩达对话 Hinton、Bengio、Goodfellow(视频)

【新智元导读】吴恩达深度学习系列课程 Deeplearning.ai 上线,专设对话部分,用视频的形式将他对 7 位深度学习领袖的采访呈现出来,分别是 Geof...

3096
来自专栏AI科技评论

干货 | CMU博士生杨植麟:如何让AI像人类一样学习自然语言?

本文分享了无监督学习和情景化学习的一些最新进展,其中包括一篇 ICLR Oral 论文的解读。 AI 科技评论按:近几年,由于深度神经网络的快速发展,自然语言...

5005
来自专栏AI科技评论

动态 | 「词嵌入」和「注意力」的新发现获得CoNLL 2018最佳论文奖

AI 科技评论按:国际语言学会(ACL)下属的 SIGDAT 小组主办的自然语言处理顶级会议 EMNLP 2018 即将于 10 月 31 日到 11 月 4 ...

1023
来自专栏大数据文摘

Marcus十大理由质疑深度学习?LeCun说大部分错了

1406
来自专栏机器之心

现场报道 | 人工智能老友记:三巨头论剑深度学习新方向

机器之心原创 作者:李九喻 2017 年 10 月 10-11 号,REWORK 深度学习峰会在蒙特利尔举办,出席本次会议有不少加拿大和美东地区的业界大咖,其中...

36512
来自专栏机器之心

打响新年第一炮,Gary Marcus提出对深度学习的系统性批判

37712
来自专栏人工智能头条

阿里智能对话交互实践与创新

4184
来自专栏量化投资与机器学习

【Matlab量化投资】用数据包络分析和基因算法进行选股分析?你get了吗!(附源程序)

本文主要介绍用数据包络分析和基因算法按上市公司的基本面数据进行选股分析。其中基因算法用于选择基本面指标,数据包络分析对股票进行效率评分。‍‍‍‍‍ ‍由于代码较...

2328

扫码关注云+社区

领取腾讯云代金券