Yann LeCun力挺前AAAI主席,批判深度学习的Marcus遭怒怼

Yann LeCun、Tom Dietterich、Gary Marcus在NIPS 2015上讨论我们周围的算法,吴恩达同台

昨天,纽约大学教授、Uber AI实验室前任主管Gary Marcus抨击当前的深度学习过于肤浅的文章在国内流传甚广。

但跟Marcus同为纽约大学教授的Yann LeCun却不以为然,就在刚才,他转发了前美国人工智能协会主席Thomas G. Dietterich反驳Gary Marcus的推文,以表达观点。

Dietterich对Marcus长文深感失望。对于Marcus所提的深度学习十大难题,Dietterich连发十条推文来进行反驳,AI科技大本营第一时间摘录并翻译如下:

“对于Gary Marcus的文章表示失望。他不光很少提及深度学习业已实现的成果(比如自然语言翻译),还经常贬低深度学习的其他成就(比如他说拥有上千类别的ImageNet数据集很小,他的用词是“非常有限”)。1/”

“深度学习可以同时学习表征和映射。深度机器翻译读取源语句后,会在内存中学习它的表征,而后来生成输出语句。它比过往的人工智能方法所能产生的任何效果都好。2/”

“Marcus抱怨深度学习无法进行推理,但目前无论哪种人工智能也都做不了推理。从X到Y的推理过程,实质上更像是从X和Y的表示中找到使其看起来相同的插值。对于逻辑推理来说,这比起联结主义的方法更真实。3/”

“相比先前的任何学习方法,深度学习可以把表征学得更好。但我同意,这还只是学习更高层的抽象的很小一步,后者将使Marcus所要的各种“推理”成为可能。4/”

“对于最近解体表征方面的学习进展,我感到非常兴奋,特别是ICLR 2017上的beta-VAE,还有Achille和Soatto关于压缩与极小解缠的理论。5/”

“我对元学习方法也很有兴趣,它反映出来的是深度学习所学到的低层表征。可能这里的方法将有可能学到更为高层的抽象。6/”

“我相信,学到正确的抽象将是解决Marcus所提问题的关键,无论是对数据的无限需求、生成模型的脆弱性,还是无法推理、欠缺迁移能力。7/”

“深度学习本质上是一种新的编程形式,即“可微分编程”,且该领域正在以这种新的形式来创造一种可复用结构。我们已有的结构包括:卷积、池化、LSTM、GAN、VAE、记忆单元、路由单元,等等。8/”

“但是,没人认为我们已经形成一个完整的结构。还没有人能知道“可微分编程”的界限在哪里。但我们正在取得快速的进步,同时我们的理论知识也在不断提升。9/”

“当然,我们还需要更多的理论与更好的工程能力,但目前最重要的是,有太多太多很有前景的实验构想还需要我们去推进。完/”

关于Gary Marcus所批判的深度学习十大难题,AI科技大本营摘编如下:

1. 目前,深度学习依然需要非常多的数据

人类稍作尝试,就能学会抽象的关系,但机器做不到。它必须经过成千上万的训练,才能学会。

所以,在学习复杂规则这件事上,人类比深度学习系统高效得多。

AI大神Geoff Hinton最近也在其Capsule Networks论文中,表达了对深度学习系统一直依赖于大量标注数据这个问题的担忧。

2. 目前,深度学习还很肤浅,并没有足够的迁移能力

需要指出的是,“深度学习”中的“深”,指的是在技术上、架构上,有很多隐藏层。这个“深”,并不是指它对抽象的概念的理解有多深。

比如,DeepMind用深度强化学习玩“打砖块”游戏,其“在训练240分钟后,(系统)发现,在墙上打一条隧道对于获胜最为有效。”但这个深度学习系统,并不知道什么是隧道、什么是墙,它所学会的,只是特定场景下的一个特定动作。

不信,来测试一下:对场景稍加改动,比如说调整球拍的高度、在屏幕中间加一道墙,DeepMind用来打砖块的升级版算法就无法应对了。

因为系统并没有学到“墙”的概念,它只是在一小类充分训练的场景中,逼近了“打破墙”这个行为。深度学习算法抽象出的模式,往往是很肤浅的。

3. 目前,深度学习还不能以自然方式来处理层级结构

Marcus不断地强调,在语言层级结构中,大的结构部件是由小部件递归构成的。

但是,当前大多数基于深度学习的语言模型,都将句子视为词的序列。在遇到陌生的句子结构时,循环神经网络(RNN)无法系统地展示句子的递归结构。

而深度学习习得的特征之间的关联是平面的,并没有层级关系。

4. 迄今为止深度学习还无法进行开放式推理

当系统无法呈现“John promised Mary to leave”和“John promised to leave Mary”之间的细微差别,机器也就无法推断出谁要离开谁,或者接下来会发生什么。

在斯坦福问答数据集SQuAD上,如果问题的答案包含在文本里,那么机器的阅读理解系统就能够很好地回答。但如果文本中没有,系统表现就会差很多。

没办法,机器还没有像人类那样的推理能力。

5. 目前,深度学习还不够透明

神经网络的“黑箱”性质一直是过去几年人们讨论的重点。这个问题,对于深度学习在金融交易、医学诊断上,却是致命的。

6. 深度学习还未与先验知识结合

先验知识很难整合到深度学习系统中。

比如Kaggle竞赛,通常要求参赛者在给定的数据集获取最佳结果,参赛者争取在给定的数据集上,获取特定任务的最佳结果。

任意给定问题所需的信息都被整齐地封装好,其中包含相关的输入和输出文件。但问题是,生活不是Kaggle竞赛,孩子们无法在一个字典中获取打包好的所有数据,只能在现实世界中零星的持续学习。

深度学习在语音识别这种有很多标记的问题上非常有效,但却很难解决开放性问题:比如,如何把卡在自行车链条上的绳子挑出来?我专业该选数学还是神经科学?训练集不会告诉我们。这些看似简单的问题,涉及到现实世界中大量的知识,没有办法提供给机器相应的数据集。

因此,想让AI的认知能力达到人类水平,还需要其他工具。

7、目前,深度学习还不能区分因果和相关关系

深度学习系统,学的是输入和输出之间相关性,但是学习不到事物原本的因果关系。

比如,一个深度学习系统可以很容易的发现:小孩的身高和词汇量相互关联。但系统并不掌握身高和词汇量之间的因果关系。但人很容易知道,长高并不见得增加词汇量,增加词汇量也不会让你长高。

8、深度学习假定世界大体稳定,但实际上并不是这样

深度学习的逻辑,在高度稳定的环境下表现最佳,例如下棋,其中的规则不会改变。但在政治和经济生活中,规则不是恒定的,因此效果就不好了。

如果你用深度学习去预测股价,很有可能会重蹈Google用深度学习预测流感的覆辙。最开始,Google能预测流行病学数据,但最后完全没有预测到2013年的流感高发季。

9、目前,深度学习只是一种近似,答案并不完全可信

虽然深度学习在一些特定领域表现出色,但仍然很容易被愚弄。

有时候,只需要动一些简单的手脚,甚至不动手脚,就能让同一副图片彻底搞晕深度学习系统。

10、目前,深度学习很难在工程中使用

机器学习在某些有限的环境中工作,相对容易。但总是处在全新的数据环境中,就难实现工程化了。

此前Leon Bottou把机器学习与飞机引擎进行过比较,他指出虽然飞机结构复杂,但可以通过简单的系统入手逐步构建出复杂系统。机器学习系统就无法做到这一步。

而谷歌Peter Norvig也曾表示,机器学习与传统编程相比,仍然缺乏渐进性、透明性和可调式性,所以,要实现深度学习的稳健,还需要面临方方面面的挑战。

本文分享自微信公众号 - AI科技大本营(rgznai100)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-01-04

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

旷视、北邮等国内团队包揽六项第一,COCO&Mapillary联合挑战赛结果公布

当地时间 9 月 8 日,两年一度的欧洲计算机视觉顶级学术会议 ECCV 2018 在德国慕尼黑拉开帷幕。作为计算机视觉领域的三大顶会之一,ECCV 2018 ...

5630
来自专栏机器之心

专栏 | 清华大学刘知远:在深度学习时代用HowNet搞事情

407100
来自专栏用户2442861的专栏

Deep Learning(深度学习)学习笔记整理系列之(一)

1)该Deep Learning的学习系列是整理自网上很大牛和机器学习专家所无私奉献的资料的。具体引用的资料请看参考文献。具体的版本声明也参考原文献。

21920
来自专栏Pytorch实践

一文简述生成式对话

由于AI技术的发展,对话机器人也得到了广泛关注和应用,例如Siri、Alexa等。关于目前的人机对话可以分为两种:任务型对话(辅助购物、导航、商场指示、天气询问...

66680
来自专栏企鹅号快讯

Yann LeCun力挺前AAAI主席,批判深度学习的Marcus遭怒怼

Yann LeCun、Tom Dietterich、Gary Marcus在NIPS 2015上讨论我们周围的算法,吴恩达同台 昨天,纽约大学教授、Uber A...

20780
来自专栏机器之心

CVPR 2018奖项出炉:两篇最佳论文,何恺明获PAMI 青年研究员奖

而在一个小时前,最受关注的 CVPR 2018 最佳论文结果揭晓:来自斯坦福大学和 UC Berkeley 的 Amir R. Zamir 等人获得 CVPR2...

12620
来自专栏AI科技评论

神经网络并不是尚方宝剑,我们需要正视深度 NLP 模型的泛化问题

AI 科技评论按:前段时间的文章《顶会见闻系列:ACL 2018,在更具挑战的环境下理解数据表征及方法评价》中,我们介绍了 ACL 大会上展现出的 NLP 领域...

10710
来自专栏新智元

【春节荐书】必读机器学习书籍一览表,PDF下载

新智元推荐 来源:专知 编辑:克雷格 【新智元导读】转眼之间春节假期已所剩无几,大家是否也开始制定新一年的学习计划?本文就为大家推荐一个机器学习书单,其...

614140
来自专栏AI科技评论

学界 | 在深度学习时代用 HowNet 搞事情

2017 年 12 月底,清华大学张钹院士做了一场题为《AI 科学突破的前夜,教授们应当看到什么?》的精彩特邀报告。他认为,处理知识是人类所擅长的,而处理数据是...

444100
来自专栏数据派THU

清华刘知远:教你用HowNet在深度学习时代搞事情(附论文下载)

来源:知乎 作者:刘知远 本文共3539字,建议阅读11分钟。 本文为大家解读什么是HowNet,并且可以用HowNet在深度学习时代做些什么。 2017年12...

89980

扫码关注云+社区

领取腾讯云代金券