Hinton号召AI革命:重头再来;李飞飞等赞成:深度学习不是唯一

李林 允中 编译整理 量子位 出品 | 公众号 QbitAI
Hinton等合写的反向传播论文

1986年,39岁的Geoffrey Hinton与人合写了一篇论文。40年后,这篇论文已经成为推动人工智能爆炸式发展的核心。

如今Hinton已经70岁,兼具多伦多大学荣誉教授、Google Fellow等身份。几天前在多伦多举行的AI大会期间,Hinton说他现在对反向传播“深感怀疑”。他发出号召:

“我的观点是把它全部抛掉,重头再来。”

与会的其他科学家表示,反向传播仍然会在未来的AI发展中发挥核心作用。但Hinton并不满足,他想要奋力向前,找到一个全新的道路。

普朗克曾说过一句关于科学真理的真理:“科学进步源自葬礼”。Hinton说,AI的未来取决于那些对我所说的一切都深感怀疑的研究生们。

在反向传播中,标签或者权重用于在神经网络内表示照片或者声音。通过逐层调整权重,最终让神经网络能以最少的错误执行AI任务。

怎么才能让神经网络能够自己变聪明,换句话说,怎么才能更好地发展“无监督学习”?Hinton的想法是:“我怀疑这意味着摆脱反向传播”。

“我不认为这是大脑的工作方式”,Hinton说“我们显然不需要所有的数据都打上标签”。

对于Hinton的上述言论,很多学者也纷纷响应。

谷歌云首席科学家李飞飞表示,反向传播的重要性,就像劳斯莱斯发动机之于飞机,非常重要,但还不足以让我们像鸟儿一样自由翱翔。

“赞成Hinton的说法,没有工具是永恒的,即便是反向传播或深度学习”,李飞飞说最重要的事情就是:继续进行基础研究。此前李飞飞也一直提醒业界不要抱所有注意力和资源都放在产品化方面,基础研究跟不上的话AI发展很快会枯竭。

知名学者Gary Marcus表示,深度学习是不够的,我们需要重头开始,Hinton的这番话也是我多年以来一直坚持的观点。

不少人想起图灵奖得主,贝叶斯之父Judea Pearl说过的那句话:“大部分人类知识是围绕因果关系组织的,而不是概率关系”

capsule

对反向传播产生怀疑之前的几年,Hinton的大量精力都投入到了对capsule的研究之上。

实际上,做capsule和想要推翻反向传播,几乎是出于同一个原因:不像大脑。

Hinton近3年前在MIT的一次讲座上说,它相信是这些不像大脑的东西,导致人工神经网络的效果不够好。

capsule的提出,正是为了应对神经网络与大脑的一个不相似之处,也是Hinton这3年来一直在讲的“神经网络的一个问题”:结构中层次太少。

Hinton提出,应该在现有神经网络结构的基础上,加一个capsule的层级,每一层网络的神经元组成capsule,在内部做计算,然后输出一个压缩的结果。

今年,Hinton和Google Brain同事Sara Sabour、Nicholas Frosst合作的论文Dynamic Routing Between Capsules即将发表于NIPS,Frosst这周还代表他们团队,在Google Brain全面答网友问的活动上,公布了capsule研究的一些进展:

capsule进行得很顺利! 我们组有5个人:Sara Sabour、Nicholas Frosst、Geoffrey Hinton、Eric Langois和Robert Gens,在多伦多办公室,取得了稳步进展。 capsule是一组神经元,它的活动向量表示特定类型实体(比如对象或对象部分)的实例化参数。 我们的一篇论文最近中了NIPS spotlight,其中将capsule之间的动态路由作为一种衡量低级特征之间一致性的方式。 这一架构在MNIST上实现了最好的性能,而且在识别高度重叠的数字时,明显比卷积神经网络好得多。 我们还在研究新的路由方法,在NORB数据集上取得了不错的结果,同时也在研究新的capsule架构,可以在输入空间中保持与给定组的等价性。 希望这些研究结果也能很快发表。

即将发表于NIPS的论文摘要对capsule做了个大致介绍:

capsule是一组神经元,其活动向量表示特定类型实体(例如对象或对象部分)的实例化参数。我们使用活动向量的长度来表示实体存在的概率及其表示实例化参数的方向。活动capsule在一个层面上通过变换矩阵对更高层capsule的实例化参数进行预测。当多个预测相符时,较高层的capsule就开始活动。 本文显示,经过区别训练的多层capsule系统在MNIST上实现了最先进的性能,在识别高度重叠的数字时,效果明显好于卷积神经网络。 为了达到这样的结果,我们用了一个迭代的路由协议机制:一个低层的capsule希望将其输出发送到一个活动向量具有大标量积、预测来自低层capsule的高层capsule。

OMT

想要看看40年前Hinton那篇论文么?在量子位微信公众号(QbitAI)对话界面,回复“bptr”四个字母,即可获得这份珍贵资料。

原文发布于微信公众号 - 量子位(QbitAI)

原文发表时间:2017-09-16

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏量子位

深度学习进化编年大事记

安妮 编译自 Import.io官方博客 量子位出品 | 公众号 QbitAI 本文作者Andrew Fogg,可视化网页抓取网站Import.io的联合创始人...

3867
来自专栏云时之间

深度学习与神经网络:浅谈人工神经网络跌宕起伏七十年

人工神经网络在过去的七十年的时间里数次起起伏伏,几十年间人们一直在追求机器的智能化,在近几年的研究中,随着数据量的增加和深度学习神经网络算法的研究和进步,表明了...

48211
来自专栏AI科技评论

学界 | DeepMind解密黑箱的第一步:原来神经网络的认知原理和人类是一样的!

AI 科技评论按:因为AlphaGo而名声大噪的人工智能公司DeepMind近期发表了一篇论文介绍自己在神经网络的解释性问题上最新探索。论文被ICML接受后,D...

3347
来自专栏机器之心

学界 | 词嵌入2017年进展全面梳理:趋势和未来方向

36115
来自专栏新智元

DeepMind成员、谷歌资深员工:神经网络序列学习突破及发展(附报告下载)

【新智元导读】谷歌CEO在给投资人的信中写道谷歌搜索将更具有情景意识,其关键技术自然是深度学习。本文中,谷歌资深员工、DeepMind 成员 Oriol Vin...

3737
来自专栏互联网数据官iCDO

可视化图表入门教程

数据可视化,即通过图表形式展现数据,帮助我们快速、准确理解信息。好的可视化会“讲故事”,能向我们揭示数据背后的规律。

1352
来自专栏云时之间

深度学习与神经网络:浅谈人工神经网络跌宕起伏七十年

人工神经网络在过去的七十年的时间里数次起起伏伏,几十年间人们一直在追求机器的智能化,在近几年的研究中,随着数据量的增加和深度学习神经网络算法的研究和进步,表明了...

3725
来自专栏机器之心

自然语言处理最新教材开放下载,乔治亚理工大学官方推荐

1383
来自专栏量子位

病人还能生存多久?现在AI能给出更精准的预测

问耕 发自 LZYY 量子位 报道 | 公众号 QbitAI ? 只需要简单查看器官图片,人工智能就可以预测患者的剩余的生命长度,这是澳大利亚阿德莱德大学的最新...

3379
来自专栏AI科技大本营的专栏

老司机这样讲深度学习,新手才能看得懂学得快

作者 | 张玉宏 (一)一入侯门“深”似海,深度学习深几许 【导言】目前人工智能非常火爆,而深度学习则是引领这一火爆现场的“火箭”。于是,有关“深度学习”的...

3225

扫码关注云+社区

领取腾讯云代金券