浅析 Hinton 最近提出的 Capsule 计划

https://zhuanlan.zhihu.com/p/29435406

最近一次更新 17-09-22 15:00 (按中国时间计)。修复了一些笔误,加入了更多关于无监督学习的介绍内容,使思路更完整;以及一两句关于 Capsule 实际效果的消息。

这有可能也是知乎上面分析介绍深度学习最为全面的文章之一。希望做物理的,做数学的,做生物的,做化学的,做计算机,包括做科幻的都能看的很开心。

Hinton 以“深度学习之父” 和 “神经网络先驱” 闻名于世,其对深度学习及神经网络的诸多核心算法和结构(包括“深度学习”这个名称本身,反向传播算法,受限玻尔兹曼机,深度置信网络,对比散度算法,ReLU激活单元,Dropout防止过拟合,以及深度学习早期在语音方面突破)做出了基础性的贡献。尽管已经将大半辈子的时间投入到神经网络之上,这位老人却丝毫没有想退休的意思。

Hinton 近几年以 “卷积神经网络有什么问题?” 为主题做了多场报道 [1] [2],提出了他的 Capsule 计划。Hinton似乎毫不掩饰要推翻自己盼了30多年时间才建立起来的深度学习帝国的想法 [3]。他的这种精神也获得了同行李飞飞(ImageNet创始者)等人肯定 [4]。

Hinton 为什么突然想要推倒重来?这肯定不是出于巧合或者突然心血来潮,毕竟作为一个领域的先驱,质疑自己亲手建立的理论,不是谁都愿意做的事情。(试想一下,如果你到处做报告,说自己的领域有各种各样的问题,就算不会影响到自己,也让做这个领域的同行和靠这个领域吃饭的人不是很舒服)

说推倒重来有点过分,Hinton并没有否定一切,并且他的主要攻击目标是深度学习在计算机视觉方面的理论。但是从几次演讲来看,他的 Capsule 计划确实和以前的方法出入比较大。Hinton 演讲比较风趣,但是也存在思维跳跃,难度跨度太大等问题。这些问题在他的关于 Capsule 的报告中还是比较突出的。可以说仅仅看报告很难理解完全 Hinton 的想法。我这几天结合各类资料,整理了一下 Hinton 的思路和动机,和大家分享一下。


Hinton 与神经网络

(以下用NN指代人工神经网络,CNN指代(深度)卷积神经网络,DNN指代深度神经网络)

要深入理解Hinton的想法,就必须了解神经网络发展的历史,这也几乎是Hinton的学术史。

人工智能才起步的时候,科学家们很自然的会有模拟人脑的想法(被称为连接主义),因为人脑是我们唯一知道的拥有高级智能的实体。

from : https://zhuanlan.zhihu.com/p/29435406

原文发布于微信公众号 - CreateAMind(createamind)

原文发表时间:2017-10-03

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏企鹅号快讯

计算机视觉:让冰冷的机器看懂多彩的世界

作者:微软亚洲研究院 链接:https://www.guokr.com/article/439945/ 2010年,来自斯坦福大学、普林斯顿大学及哥伦比亚大学的...

4619
来自专栏大数据文摘

深度 | 深度学习并不是AI的未来

1804
来自专栏ATYUN订阅号

一张图片是否被PS过?Adobe利用AI来检测图像真实性

PS一张图片越来越复杂,效果也越来越难以辨别,但Adobe Systems可以使用AI来检测PS的时间。

1333
来自专栏镁客网

技术 | AI研究的盲点:无解的神经网络内在逻辑

1516
来自专栏玉树芝兰

文科生用机器学习做论文,该写些什么?

从“价值、必要、讨论和工具”这四个角度,把一些容易踩的坑提示给你,助你顺利完成研究论文撰写。

1152
来自专栏量子位

吴恩达的新深度学习课程什么样?我们试听了一下 | 附视频

问耕 发自 凹非寺 量子位 报道 | 公众号 QbitAI 注册之后,可以获得七天免费试听。不过在这之前,你首先需要输入一张信用卡/储蓄卡,或者Paypal账户...

4147
来自专栏镁客网

Yoshua Bengio 专栏文章:深度学习崛起带来人工智能的春天

1742
来自专栏大数据文摘

让冰冷的机器看懂这个多彩的世界

3039
来自专栏AI科技评论

学界 | 关于模型可解释性的深入思考:从哪里来,到哪里去?

「学习出一个通用智能行动者的潜力和局限性,算法公平方面细微的以及可以被真正规范化的挑战,以及现在的热门话题:能向人类解释、能被人类理解对模型来说意味着什么?」

1023
来自专栏新智元

【Hacker News最火教程】机器学习必备的数学知识

【新智元导读】对于很多入坑机器学习的同学来说,数学可能是比较艰辛的部分。本文作者介绍了构建机器学习产品、或进行机器学习研究所需的数学背景,以及来自机器学习工程师...

681

扫码关注云+社区

领取腾讯云代金券