观点 | Geoffrey Hinton:放弃反向传播,我们的人工智能需要重头再来

选自Axios

机器之心编译

三十多年前,深度学习著名学者 Geoffrey Hinton 参与完成了论文《Experiments on Learning by Back Propagation》,提出了反向传播这一深刻影响人工智能领域的方法。今天的他又一次呼吁研究者们对反向传播保持怀疑态度,并准备在理论体系上推倒重来。

Geoffrey Hinton 很是怀疑当前干着粗重活的人工智能

1986 年,Geoffrey Hinton 与别人合作了一篇论文(《Experiments on Learning by Back Propagation》);三十多年后,这篇论文成为了人工智能爆发的中心。但是 Hinton 说他先前的突破性方法应该摈弃,转而去发现一种通向 AI 的新路径。Hinton,这位多伦多大学的荣誉退休教授兼谷歌研究员,说道他现在「深度怀疑」反向传播,正是这一笨重方法催生出了当今 AI 领域的绝大多数进展,包括图像与语音识别。「我的观点是摈弃一切,从头再来。」Hinton 说。

论文《Experiments on Learning by Back Propagation》链接:http://www.cs.toronto.edu/~fritz/absps/bptr.pdf

会上其他科学家认为反向传播在人工智能的未来仍然起到关键作用。但是 Hinton 认为,要想实现实质进展,必须创造全新的方法。「Max Planck 说:科学每经历一次葬礼就前进一步。未来依靠对我所说的一切持怀疑态度的研究生。」

运作机制:在反向传播中,标签或「权重」用于在类脑神经层中展示图像或声音。权重可以逐层调整,直到该网络能够在最少错的情况下执行智能功能。

但是 Hinton 认为这样是为了让神经网络自行做到「无监督学习」,他说:「我猜想这意味着抛弃反向传播,这不是大脑工作的方式,很明显我们并不需要标注所有数据。」

axios 文章中 Hinton「摈弃一切,从头再来」的观点,在推特上引起了热烈反响,Pedro Domingos、李飞飞等多人转推。李飞飞评论道:「反向传播非常重要,它就像是飞机上的劳斯莱斯引擎,虽然飞机无法做到像飞鸟一样机敏而灵活。」她又说:「赞同 Hinton 关于没有工具是永恒的观点,甚至反向传播或者深度学习也不例外。因此,基础研究的继续异常重要。」Gary Marcus 也对这一观点做出了回应:「深度学习并不完美,我们需要另起炉灶。Hinton 佐证了我二十年前讲过的这句话。」

既然要从头再来,Hinton 的下一步是什么?值得一提的是,Hinton 与他的谷歌同事 Sara Sabour 和 Nicholas Frosst 共同完成的论文《Dynamic Routing Between Capsules》已被 NIPS 2017 大会接收。研究人员提出的容器(capsule)概念正是 Hinton 对于未来人工智能形态的探索。不可否认的是,在无监督学习的道路上,我们还有很长的一段路要走。

论文:Dynamic Routing Between Capsules

大会论文链接:https://nips.cc/Conferences/2017/Schedule?showEvent=9167

摘要:capsule 是一组神经元,其活动向量展示特定实体类型的实例化参数,如对象或对象部分。我们使用活动向量的长度表征实体存在的概率,纵向代表实例化参数。同一水平的活跃 capsule 通过变换矩阵对更高级别的 capsule 的实例化参数进行预测。当多个预测一致时,更高级别的 capsule 变的活跃。我们展示了判别训练的多层 capsule 系统在 MNIST 数据集上达到了顶尖的性能,比识别高度重叠的数字的卷积网络的性能优越很多。为了达到这些结果,我们使用迭代的路由协议机制:较低级别的 capsule 偏向于将输出发送至高级别的 capsule,有了来自低级别 capsule 的预测,高级别 capsule 的活动向量具备大标量积。

原文链接:https://www.axios.com/ai-pioneer-advocates-starting-over-2485537027.html

本文为机器之心编译,转载请联系本公众号获得授权。

原文发布于微信公众号 - 机器之心(almosthuman2014)

原文发表时间:2017-09-16

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏数据魔术师

机器学习|刘博士谈机器学习--机器的“是非观”

我开始写这篇公众号的时候已经是凌晨,希望我的头脑还能在写作过程中保持足够的清醒。在前两篇清谈型的文章后(没看过的还是要看一下),今天我终于要进入到机器学习的正题...

994
来自专栏人工智能头条

用机器学习来计算工作技能的匹配度

2617
来自专栏机器之心

从Yoav Goldberg与Yann LeCun争论,看当今的深度学习、NLP与arXiv风气

选自Medium、Facebook 机器之心编译 作者:Yoav Goldberg、Yann LeCun 参与:黄小天、吴攀、晏奇 最近,来自以色列 Bar ...

2857
来自专栏EAWorld

AI杂谈:从洗衣机到老鼠屁股

AI,即人工智能,是当前技术大热门,一定有很多同学想学,但是又觉得高深莫测,不知从何下手,没关系,本文会让大家迅速入门。

1082
来自专栏AI科技大本营的专栏

【干货】人工智能工程师的三个层次(附技术学习路线图)

作者 | 智亮 Google Tensorflow框架的Contributor。在计算机视觉领域有深厚的工业经验,带领团队开发的“花伴侣”植物识别App,上线数...

4495
来自专栏人工智能头条

想学AI?没那么简单、但也没那么难!(内附技术图谱)

1064
来自专栏数据派THU

独家 | 一文解析统计学在机器学习中的重要性(附学习资源)

本文共2400字,建议阅读10分钟。 本文介绍为什么统计对于通用应用和机器学习如此重要,并大致了解各种可用的方法。

1204
来自专栏机器学习算法与理论

基于大数据的工业感知和网络控制技术综述

1工业感知和网络控制 随着物联网技术的发展,工业感知技术也不断进行进步,物联网包含感知层、网络层、应用层,所谓工业感知和网络控制,就是在工业生产过程中通过各种...

3154
来自专栏IT派

普通程序员,几个月如何成功转型AI?

IT派 - {技术青年圈} 持续关注互联网、大数据、人工智能领域 动辄50万的毕业生年薪,动辄100万起步价的海归AI高级人才,普通员到底应不应该转型AI工程...

4906
来自专栏机器之心

专栏 | 深度学习在NLP中的运用?从分词、词性到机器翻译、对话系统

竹间智能专栏 作者:自然语言与深度学习小组 自然语言是人类知识的抽象浓缩表示,而自然语言理解是人工智能研究领域中极具挑战的一个分支。上次,《自然语言处理在 20...

39011

扫码关注云+社区