专栏首页机器之心观点 | Geoffrey Hinton:放弃反向传播,我们的人工智能需要重头再来

观点 | Geoffrey Hinton:放弃反向传播,我们的人工智能需要重头再来

选自Axios

机器之心编译

三十多年前,深度学习著名学者 Geoffrey Hinton 参与完成了论文《Experiments on Learning by Back Propagation》,提出了反向传播这一深刻影响人工智能领域的方法。今天的他又一次呼吁研究者们对反向传播保持怀疑态度,并准备在理论体系上推倒重来。

Geoffrey Hinton 很是怀疑当前干着粗重活的人工智能

1986 年,Geoffrey Hinton 与别人合作了一篇论文(《Experiments on Learning by Back Propagation》);三十多年后,这篇论文成为了人工智能爆发的中心。但是 Hinton 说他先前的突破性方法应该摈弃,转而去发现一种通向 AI 的新路径。Hinton,这位多伦多大学的荣誉退休教授兼谷歌研究员,说道他现在「深度怀疑」反向传播,正是这一笨重方法催生出了当今 AI 领域的绝大多数进展,包括图像与语音识别。「我的观点是摈弃一切,从头再来。」Hinton 说。

论文《Experiments on Learning by Back Propagation》链接:http://www.cs.toronto.edu/~fritz/absps/bptr.pdf

会上其他科学家认为反向传播在人工智能的未来仍然起到关键作用。但是 Hinton 认为,要想实现实质进展,必须创造全新的方法。「Max Planck 说:科学每经历一次葬礼就前进一步。未来依靠对我所说的一切持怀疑态度的研究生。」

运作机制:在反向传播中,标签或「权重」用于在类脑神经层中展示图像或声音。权重可以逐层调整,直到该网络能够在最少错的情况下执行智能功能。

但是 Hinton 认为这样是为了让神经网络自行做到「无监督学习」,他说:「我猜想这意味着抛弃反向传播,这不是大脑工作的方式,很明显我们并不需要标注所有数据。」

axios 文章中 Hinton「摈弃一切,从头再来」的观点,在推特上引起了热烈反响,Pedro Domingos、李飞飞等多人转推。李飞飞评论道:「反向传播非常重要,它就像是飞机上的劳斯莱斯引擎,虽然飞机无法做到像飞鸟一样机敏而灵活。」她又说:「赞同 Hinton 关于没有工具是永恒的观点,甚至反向传播或者深度学习也不例外。因此,基础研究的继续异常重要。」Gary Marcus 也对这一观点做出了回应:「深度学习并不完美,我们需要另起炉灶。Hinton 佐证了我二十年前讲过的这句话。」

既然要从头再来,Hinton 的下一步是什么?值得一提的是,Hinton 与他的谷歌同事 Sara Sabour 和 Nicholas Frosst 共同完成的论文《Dynamic Routing Between Capsules》已被 NIPS 2017 大会接收。研究人员提出的容器(capsule)概念正是 Hinton 对于未来人工智能形态的探索。不可否认的是,在无监督学习的道路上,我们还有很长的一段路要走。

论文:Dynamic Routing Between Capsules

大会论文链接:https://nips.cc/Conferences/2017/Schedule?showEvent=9167

摘要:capsule 是一组神经元,其活动向量展示特定实体类型的实例化参数,如对象或对象部分。我们使用活动向量的长度表征实体存在的概率,纵向代表实例化参数。同一水平的活跃 capsule 通过变换矩阵对更高级别的 capsule 的实例化参数进行预测。当多个预测一致时,更高级别的 capsule 变的活跃。我们展示了判别训练的多层 capsule 系统在 MNIST 数据集上达到了顶尖的性能,比识别高度重叠的数字的卷积网络的性能优越很多。为了达到这些结果,我们使用迭代的路由协议机制:较低级别的 capsule 偏向于将输出发送至高级别的 capsule,有了来自低级别 capsule 的预测,高级别 capsule 的活动向量具备大标量积。

原文链接:https://www.axios.com/ai-pioneer-advocates-starting-over-2485537027.html

本文为机器之心编译,转载请联系本公众号获得授权。

本文分享自微信公众号 - 机器之心(almosthuman2014)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-09-16

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 浅析Geoffrey Hinton最近提出的Capsule计划

    选自知乎专栏 作者:SIY.Z 机器之心经授权转载 本文有可能是知乎上分析介绍深度学习最为全面的文章之一。希望做物理的、做数学的、做生物的、做化学的、做计算机、...

    机器之心
  • 「反向传播非你原创」,Jürgen发文直指Hinton不应获2019本田奖

    创立于 1980 年的本田奖旨在表彰「为引领生态技术领域的下一代新知识而做出贡献的个人或团体」。2019 年,Geoffrey Hinton 获得本田奖,获奖理...

    机器之心
  • 人物 | Geoffrey Hinton的成功之路:从神经网络黑暗时代的坚守到今天的胜利

    选自The Globe and Mail 作者:Jeff Gary 机器之心编译 参与:吴攀、黄小天、Ellen Han 深度学习泰斗 Geoffrey Hin...

    机器之心
  • Hinton号召AI革命:重头再来;李飞飞等赞成:深度学习不是唯一

    李林 允中 编译整理 量子位 出品 | 公众号 QbitAI ? △ Hinton等合写的反向传播论文 1986年,39岁的Geoffrey Hinton与人合...

    量子位
  • 【AI大咖】认真认识一代AI教父Hinton

    Geoffrey Everest Hinton,加拿大认知心理学家和计算机科学家,1947年生人,现年72岁,有两任妻子,两个孩子,被誉为”人工智能教父“。

    用户1508658
  • 【Geoffrey Hinton传奇】你我都是机器人

    来源:TorontoLife 作者:Katrina Onstad 编译:文强,司明,张乾 【新智元导读】Torontolife以“Mr Robot”为题对Hin...

    新智元
  • Hinton:人类就是机器,绝妙的机器

    原文《Mr.Robot》刊载于 Toronto Life 作者 KATRINA ONSTAD 摄影 DANIEL EHRENWORTH 编译 夏乙 唐旭 量子位...

    量子位
  • 走近Hinton:AI教父传奇人生

    【导读】Geoffrey Hinton花费了30年的时间默默无闻,直到2012年,他证明了其研究的价值,并驳回了大多数其他科学家所谓的正确观点。如今,这个被称为...

    WZEARW
  • 走近Hinton:AI教父传奇人生

    三十多年以来,Geoffrey Hinton一直都处于人工智能研究的边缘地带。他像一个局外人一样坚守着一个简单的观点:计算机可以像人类一样,依靠直觉而不是规则进...

    昱良
  • 特写 | Geoffrey Hinton:我们都是特别的,奇妙的机器

    AI 科技评论按:本文出自 torontolife.com ,用超长的篇幅讲述了 AI 大牛 Geoffrey Hinton 的学术成长之路,以及他对人工智能学...

    AI科技评论

扫码关注云+社区

领取腾讯云代金券