观点 | Marcus再怼深度学习:不和符号计算相结合,可能无法进步!

选自 Medium

作者:Gary Marcus

机器之心编译

参与:Geek AI、路

纽约大学心理学与神经科学教授 Gary Marcus 在批判深度学习的路上走了很远。今年年初,Marcus 发表了一篇长文对深度学习的现状及局限性进行了批判性探讨。在文中,Marcus 表示:我们必须走出深度学习,这样才能迎来真正的通用人工智能。近日 Yoshua Bengio 发表论文认为「当前的深度学习方法在学习合成性语言时,样本效率存在不足」。Marcus 认为「英雄所见终于略同」,深度学习社区终于有人意识到这一问题了。他在 Medium 上撰文介绍了语言神经网络模型的前世今生,并认为深度学习应该与经典人工智能技术(符号计算)相结合,才能实现新进展。

过去

长期以来,许多研究人员一直担心神经网络能否有效地泛化,从而捕获语言的丰富性。从 20 世纪 90 年代开始,这成为我工作的一个主要课题,在我之前,Fodor、Pylyshyn、Pinker 和 Prince 1988 年在《Cognition》中提出了与之密切相关的观点。Brenden Lake 和他的合作者在今年早些时候也提出了类似的观点。

举个例子,我在一月份写了一篇关于这个话题的文章

当可用的培训数据数量有限,或测试集与培训集有很大区别,又或者样本空间非常大且有很多全新数据时,深度学习系统的性能就不那么好了。而在现实世界的诸多约束下,有些问题根本不能被看作是分类问题。例如,开放式的自然语言理解不应该被认为是不同的大型有限句子集之间的分类器映射,而是可能无限范围的输入句子和同等规模的含义之间的映射,而这其中很多样本是之前没有遇到过的。

现在

近日,Yoshua Bengio 和他的实验室成员写了一篇与此相关的论文(http://export.arxiv.org/abs/1810.08272),证明了神经网络社区内部(认知科学研究社区的一群门外汉(包括我自己))长期以来的观点:如今的深度学习技术并不能真正处理语言的复杂性。

这篇论文的摘要中有一句这样的表述:

我们提出了强有力的证据,证明了当前的深度学习方法在学习一门合成性(compositional)语言时,样本效率存在不足。

这是当前机器学习文献中存在的一个非常普遍而且十分重要的问题,但之前的文献对此没有任何讨论。这并不是好现象:我们曾经用一个词来形容它——「非学术性」,意思是你按照早期先行者的方向继续研究下去,并假装你的工作是原创的。这并不是一个很好的词。但它在这里很适用。

无论如何,我很高兴 Bengio 实验室和我长期以来对此的观点一致,我在一篇 Twitter 中写道:

关于深度学习及其局限性的重要新闻:Yoshua Bengio 的实验室证实了 Marcus 在 2001 年和 2018 年提出的一个关键结论:深度学习在数据处理方面不够有效,无法应对语言的合成性本质。

和往常一样,我的言论引起了深度学习社区中许多人的反感。作为回应,Bengio 写道(他第二天在 Facebook 上发布了一条帖子,这引起了我的注意):

这里的结论似乎有些混乱。根据实验,我们发现目前的深度学习+强化学习在学习理解合成语言的样本复杂度方面还不尽如人意。但这与 Gary 的结论大不相同,因为我们相信我们可以继续取得进步,并在现有的深度学习和强化学习的基础上进行扩展。Gary 明确地表明了「深度学习在数据处理方面不够有效,无法应对语言的合成性本质」这样的负面观点,而我们认为当前的深度学习技术可以被增强,从而更好地应对合成性,这是我们进行(向具有相同底层因果机制的新数据分布)系统泛化所必需的。这正是我们正在进行的研究,相关的论述可以在 arXiv 上查看我们之前的论文。

实际上,Bengio 说的是我们还没有达到所需要的水平。

也许是这样,也许不是。或许深度学习本身永远无法做到真正处理语言的复杂性。我们至少要考虑到存在这种可能。

20 年前,我基于反向传播的工作原理非常严谨地首次提出该观点(http://www.psych.nyu.edu/gary/marcusArticles/marcus%201998%20cogpsych.pdf)。然后立即出现了很多关于未知机制和未来的成功的承诺。

这些承诺至今仍未兑现。我们用了 20 年的时间以及数十亿美元进行研究后,深度学习在语言的合成性方面仍然没有取得任何显著进展。

在过去 20 年里唯一真正改变的是:神经网络社区终于开始注意到这个问题。

未来

实际上 Bengio 和我在很多方面都有共识。我们都认为现有的模型不会成功。我们都同意深度学习必须要被增强。

真正的问题是,增强究竟是什么意思。

Bengio 可以自由地阐述他的观点。

在我看来,正如我过去 20 年所预测的那样:深度学习必须通过一些借鉴自经典符号系统的操作得到增强,也就是说我们需要充分利用了经典人工智能技术(允许显式地表示层次结构和抽象规则)的混合模型,并将其同深度学习的优势相结合。

许多(并非所有)神经网络的支持者试图避免在他们的网络中添加这样的东西。这并不是不可能的;这是所谓的正统观念的问题。当然,仅靠深度学习目前还无法解决这个问题。也许是时候试试别的方法了。

我不认为深度学习无法在自然理解中发挥作用,只是深度学习本身并不能成功。我认为 Yann LeCun 等人一直在误导大家。

我的预测仍然是:如果没有固有的合成工具来表示规则和结构化表征(根据我在 2001 年出版的「The Algebraic Mind」一书中提出的观点),我们将看不到语言理解神经网络模型的进展。

只要深度学习社区不再毫无必要地把自己定义为经典人工智能(符号系统)的对立面,我们也许将看到进展。

原文链接:https://medium.com/@GaryMarcus/bengio-v-marcus-and-the-past-present-and-future-of-neural-network-models-of-language-b4f795ff352b

原文发布于微信公众号 - 机器之心(almosthuman2014)

原文发表时间:2018-11-05

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏新智元

今日头条李磊:用机器学习做自然语言理解,实现通用 AI 仍需解决三大难题(33PPT下载)

1 新智元原创 【新智元导读】10月18日,在中国自动化学会与新智元联合主办的 2016世界人工智能大会上,今日头条科学家、头条实验室总监李磊博士受邀发表...

4286
来自专栏AI科技大本营的专栏

我是如何在1天内构建一个深度学习模型并进击Kaggle比赛的

Fast.ai是Jeremy Howard为结果导向型人群开设的深度学习在线课程。 我读过很多关于机器学习的书,也参加过不少这方面的课程,但我认为Fast.ai...

3708
来自专栏AI科技评论

深度|MIT人工智能算法披露:我们如何用 200 万张图片预见 1.5 秒后的世界?

我们生活在物理世界里,但往往没有深入思考这样一个问题:自己是如何迅速理解周边事物的? 人类能够对背景的变化、事物之间的相互关联等等做出非常自然的反应。而且,这些...

34412
来自专栏机器学习算法与Python学习

机器学习很难上手和提升?你只差一条学习路径!

从网易云音乐的歌单、亚马逊的商品到抖音的短视频,机器学习主导的推荐系统改变了用户浏览习惯;iphone x 在刘海中祭出3D结构光,人脸识别AI便在移动终端迅速...

660
来自专栏AI科技评论

干货 | CMU博士生杨植麟:如何让AI像人类一样学习自然语言?

本文分享了无监督学习和情景化学习的一些最新进展,其中包括一篇 ICLR Oral 论文的解读。 AI 科技评论按:近几年,由于深度神经网络的快速发展,自然语言...

3865
来自专栏新智元

【深度学习下一大突破】吴恩达对话 Hinton、Bengio、Goodfellow(视频)

【新智元导读】吴恩达深度学习系列课程 Deeplearning.ai 上线,专设对话部分,用视频的形式将他对 7 位深度学习领袖的采访呈现出来,分别是 Geof...

3046
来自专栏企鹅号快讯

智能识别技术 让计算机看懂世界

互联网发展之初受到网络带宽、数据存储等相关技术的限制,信息传播以单模态形式为主,如文字报道、图像相册等。进入大数据时代,信息传播变得丰富多彩,人们从互联网中同时...

22510
来自专栏人工智能头条

深度神经网络的灰色区域:可解释性问题

2042
来自专栏量子位

这十大挑战,摆在DL面前:马库斯长文质疑深度学习

夏乙 若朴 安妮 编译整理 量子位 出品 | 公众号 QbitAI ? 多年坚持为深度学习泼冷水的纽约大学心理学教授马库斯老师(Gary Marcus),今天终...

2513
来自专栏量子位

旷视首席科学家孙剑:计算机视觉的变革和挑战 | 北大AI公开课笔记

周三晚,北京大学“人工智能前沿与产业趋势”第三讲,本期旷视研究院院长孙剑授课主题为“计算机视觉的变革与挑战”,分享了计算机视觉和深度学习领域的一些研究进展。

1155

扫码关注云+社区

领取腾讯云代金券