专栏首页量子位Hinton号召AI革命:重头再来;李飞飞等赞成:深度学习不是唯一

Hinton号召AI革命:重头再来;李飞飞等赞成:深度学习不是唯一

李林 允中 编译整理 量子位 出品 | 公众号 QbitAI
Hinton等合写的反向传播论文

1986年,39岁的Geoffrey Hinton与人合写了一篇论文。40年后,这篇论文已经成为推动人工智能爆炸式发展的核心。

如今Hinton已经70岁,兼具多伦多大学荣誉教授、Google Fellow等身份。几天前在多伦多举行的AI大会期间,Hinton说他现在对反向传播“深感怀疑”。他发出号召:

“我的观点是把它全部抛掉,重头再来。”

与会的其他科学家表示,反向传播仍然会在未来的AI发展中发挥核心作用。但Hinton并不满足,他想要奋力向前,找到一个全新的道路。

普朗克曾说过一句关于科学真理的真理:“科学进步源自葬礼”。Hinton说,AI的未来取决于那些对我所说的一切都深感怀疑的研究生们。

在反向传播中,标签或者权重用于在神经网络内表示照片或者声音。通过逐层调整权重,最终让神经网络能以最少的错误执行AI任务。

怎么才能让神经网络能够自己变聪明,换句话说,怎么才能更好地发展“无监督学习”?Hinton的想法是:“我怀疑这意味着摆脱反向传播”。

“我不认为这是大脑的工作方式”,Hinton说“我们显然不需要所有的数据都打上标签”。

对于Hinton的上述言论,很多学者也纷纷响应。

谷歌云首席科学家李飞飞表示,反向传播的重要性,就像劳斯莱斯发动机之于飞机,非常重要,但还不足以让我们像鸟儿一样自由翱翔。

“赞成Hinton的说法,没有工具是永恒的,即便是反向传播或深度学习”,李飞飞说最重要的事情就是:继续进行基础研究。此前李飞飞也一直提醒业界不要抱所有注意力和资源都放在产品化方面,基础研究跟不上的话AI发展很快会枯竭。

知名学者Gary Marcus表示,深度学习是不够的,我们需要重头开始,Hinton的这番话也是我多年以来一直坚持的观点。

不少人想起图灵奖得主,贝叶斯之父Judea Pearl说过的那句话:“大部分人类知识是围绕因果关系组织的,而不是概率关系”

capsule

对反向传播产生怀疑之前的几年,Hinton的大量精力都投入到了对capsule的研究之上。

实际上,做capsule和想要推翻反向传播,几乎是出于同一个原因:不像大脑。

Hinton近3年前在MIT的一次讲座上说,它相信是这些不像大脑的东西,导致人工神经网络的效果不够好。

capsule的提出,正是为了应对神经网络与大脑的一个不相似之处,也是Hinton这3年来一直在讲的“神经网络的一个问题”:结构中层次太少。

Hinton提出,应该在现有神经网络结构的基础上,加一个capsule的层级,每一层网络的神经元组成capsule,在内部做计算,然后输出一个压缩的结果。

今年,Hinton和Google Brain同事Sara Sabour、Nicholas Frosst合作的论文Dynamic Routing Between Capsules即将发表于NIPS,Frosst这周还代表他们团队,在Google Brain全面答网友问的活动上,公布了capsule研究的一些进展:

capsule进行得很顺利! 我们组有5个人:Sara Sabour、Nicholas Frosst、Geoffrey Hinton、Eric Langois和Robert Gens,在多伦多办公室,取得了稳步进展。 capsule是一组神经元,它的活动向量表示特定类型实体(比如对象或对象部分)的实例化参数。 我们的一篇论文最近中了NIPS spotlight,其中将capsule之间的动态路由作为一种衡量低级特征之间一致性的方式。 这一架构在MNIST上实现了最好的性能,而且在识别高度重叠的数字时,明显比卷积神经网络好得多。 我们还在研究新的路由方法,在NORB数据集上取得了不错的结果,同时也在研究新的capsule架构,可以在输入空间中保持与给定组的等价性。 希望这些研究结果也能很快发表。

即将发表于NIPS的论文摘要对capsule做了个大致介绍:

capsule是一组神经元,其活动向量表示特定类型实体(例如对象或对象部分)的实例化参数。我们使用活动向量的长度来表示实体存在的概率及其表示实例化参数的方向。活动capsule在一个层面上通过变换矩阵对更高层capsule的实例化参数进行预测。当多个预测相符时,较高层的capsule就开始活动。 本文显示,经过区别训练的多层capsule系统在MNIST上实现了最先进的性能,在识别高度重叠的数字时,效果明显好于卷积神经网络。 为了达到这样的结果,我们用了一个迭代的路由协议机制:一个低层的capsule希望将其输出发送到一个活动向量具有大标量积、预测来自低层capsule的高层capsule。

OMT

想要看看40年前Hinton那篇论文么?在量子位微信公众号(QbitAI)对话界面,回复“bptr”四个字母,即可获得这份珍贵资料。

本文分享自微信公众号 - 量子位(QbitAI),作者:专注报道AI

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-09-16

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Hinton:人类就是机器,绝妙的机器

    原文《Mr.Robot》刊载于 Toronto Life 作者 KATRINA ONSTAD 摄影 DANIEL EHRENWORTH 编译 夏乙 唐旭 量子位...

    量子位
  • Hinton传奇:退学当木匠,辞职反军方,终成一代AI教父

    李林 若朴 编译自 Telegraph 原文作者 Joe Shute 量子位 报道 | 公众号 QbitAI 英国《每日电讯报》打算用三篇报道,来描绘人工智能在...

    量子位
  • Hinton最新专访:别让AI解释自己,AI寒冬不会再来

    在这次加拿大G7人工智能会议上的访谈里,Hinton谈到了对谷歌军方合同的“私下”抗议,还提出了对现在AI研究的一些看法,比如:

    量子位
  • 观点 | Geoffrey Hinton:放弃反向传播,我们的人工智能需要重头再来

    选自Axios 机器之心编译 三十多年前,深度学习著名学者 Geoffrey Hinton 参与完成了论文《Experiments on Learning by...

    机器之心
  • AI教父Geoff Hinton和深度学习的40年

    因为伤了背,Geoff Hinton已经站着工作了12年,似乎巧合地迎合了现在“站立工作”的这股风潮。

    大数据文摘
  • AI教父Hinton:AI 系统将走向无监督,我们需要真正理解大脑

    最新一届图灵奖得主、多伦多大学教授兼谷歌大脑高级研究员 Geoffrey Hinton 今天在谷歌 I/O 开发者大会的炉边聊天上发表了演讲。

    新智元
  • 超越美国?加拿大何以培育出人工智能的新边疆

    前两天,加拿大政府推动人工智能发展的财政预算正式出炉,用1.25亿加元来支持人工智能领域的新研究与人才战略。 其中的关键,是资助多伦多新成立的人工智能研究机构...

    AI科技大本营
  • 深度学习祖师 Hinton 亲自授权 | 《神经网络》中文字幕版

    Geoffrey Hinton,可能未必所有人都听过, 但他创立的门派——深度学习,却无人不知,点开本文的高傲的你,也许就是、或者即将成为,他的徒孙。 Geo...

    数说君
  • GDPR的关键点和应对方法

    之前发布了关于GDPR的一篇文章《GDPR生效在即,有欧洲生意的同学需要注意了!!》,发现关心的同学还是蛮多的,那么今天又整理了一些资料,让大家更进一步的了解G...

    臭豆腐
  • 糖糖别胡说,我真的不是签到题目

    从前,有n只萌萌的糖糖,他们分成了两组一起玩游戏。他们会排成一排,第i只糖糖会随机得到一个能力值bi。从第i秒的时候,第i只糖糖就可以消灭掉所有排在他前面的和他...

    用户7727433

扫码关注云+社区

领取腾讯云代金券