从AlexNet到胶囊网络,CNN这五年(视频详解)

大数据文摘字幕组作品

今年11月7日,Geoffrey Hinton老爷子发表了“Dynamic Routing Between Capsules”的论文,提出了“胶囊网络”,胶囊网络在MNIST手写数字识别上的表现超过了CNN,一时引发了热议

毕竟,如果Hinton说这玩意儿好用,那它很有可能真的好用!

Hinton现任加拿大多伦多大学教授,同时是谷歌大脑在加拿大的负责人。听起来好像没啥特别的 (⊙ˍ⊙)

不过随便一搜,1947年出生的他有各种头衔加持:”深度学习之父“、”开山鼻祖“……对,他就是在80年代就提出了反向传播算法不久前又选择抛弃它的那个老头?

左起Yann LeCun,Geoffrey Hinton,Yoshua Bengio,Andrew Ng(图片来自吴恩达Facebook页面)

第一波推动CNN应用的Yann LeCun(Facebook人工智能实验室主任、纽约大学教授),就是Hinton的博士后。

此外,据传伯克利的Michael I.Jordan教授(吴恩达的导师)当年申请Hinton的博士后没有被录取⊙o⊙ Michael I.Jordan教授不久前曾到清华大学授课,点这里查看独家听课笔记

那么,胶囊网络到底有什么特别呢?为什么Hinton认为它比CNN还牛?

大数据文摘字幕组经授权翻译了YouTube网红Siraj Raval的一段详解胶囊网络的视频,试图从CNN的历史沿革开始,通过几次大的性能提升告诉你胶囊网络和此前的CNN有什么不同

让我们先来看一张大图。

图:物体识别简明史,来源见文末。

进入大数据文摘公众号,后台对话框回复“大图”,获取大图高清PDF版

虽然相关算法80年代就已经提出,让神经网络这一玩儿法真正进入了人们的视野的,是数据量和算力极大扩充之后,在2012年横扫ImageNet比赛的AlexNet。AlexNet加入了ReLU和Dropout的概念,从而解决了权值消失的问题,并能防止过拟合

在这之后一个大的提升是VGG网络,它增加了很多很多层(^._.^)ノ

再然后,GoogleNet在一个层的输入上进行了多个不同内核大小的卷积操作,最后把这些操作的结果连接起来,作为下一层的输入。

在这之后是ResNet。ResNet的思想是,如果我们不断的叠加网络,接下来如果你继续添加更多的层,网络性能会开始下降。那么就在每两层后加入一个加法运算,这样就改善了梯度消失的问题。

网络被设计得越来越深了,但卷积神经网络在识别带有旋转角度、颠倒等”不正常“的图片时表现特别不好。我们需要一个更加泛化的算法。这对目前无人驾驶的应用来说尤为重要——我们不能总是期待图像是正着出现的。

卡戴珊的眼睛和嘴互换位置,这张图仍被CNN识别为“person”

于是,我们有了Hinton的胶囊网络。它可以被理解为“张量神经元”,即输入和输出都是张量

更多关于胶囊网络的详细解释

请点击观看视频

时长22分钟

视频内容

视频还附有胶囊网络论文在TensorFlow上的实现代码哟!

原视频地址: https://www.youtube.com/watch?v=VKoLGnq15RM 物体识别简明史大图: https://medium.com/@nikasa1889/the-modern-history-of-object-recognition-infographic-aea18517c318 胶囊网络论文的TensorFlow实现代码地址: https://github.com/naturomics/CapsNet-Tensorflow

翻 译 | Carrey 王、qz517、雪梨兔、周杨、Jenny

校 对 | 糖竹子

时间轴+后期 | 龙牧雪

文案+统筹 | 龙牧雪

本文分享自微信公众号 - 大数据文摘(BigDataDigest)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-12-22

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI研习社

意想不到的盟友:改善隐私问题可以带来表现更好的机器学习模型

AI 研习社按:Nicolas Papernot 在 2017、2018 连续两年的 ICLR 上都发表了关于差分隐私方法 PATE 的论文。如今大家都意识到了...

18330
来自专栏数据派THU

资源 | 25个深度学习开源数据集,have fun !

33450
来自专栏企鹅号快讯

Anti-Spoofing之人脸活体检测

每周精选 Algorithm System Anti-Spoofing 之人脸活体检测 在小编之前的文章系列中曾介绍过的对抗样本攻击,是目前Deep Learn...

2.7K60
来自专栏新智元

深度学习最新梳理:OpenAI研究骨干博士论文

【新智元导读】Wojciech Zaremba 是 Hinton、Ilya Sutskever 一脉相承的弟子,在谷歌大脑实习过,在 Facebook 受过 L...

41630
来自专栏AI科技大本营的专栏

周末漫谈 | 如何评价 DeepMind 新提出的关系网络(Relation Network)?

本周话题 过去两周,Google旗下的DeepMind颇为引人瞩目,开发出了适用于关系推理的人工神经网络,从而让机器具备推理、理解不同物体之间错综复杂关系的能力...

83260
来自专栏新智元

【CVPR 2018】照片闭眼也无妨,Facebook黑科技完美补全大眼睛

16830
来自专栏深度学习与数据挖掘实战

采用深度学习算法为Spotify做基于内容的音乐推荐

本文转载自:CSDN优秀博客(文/彭根禄),原文链接:http://benanne.github.io/2014/08/05/spotify-cnns.htm...

12820
来自专栏磐创AI技术团队的专栏

【干货】二十五个深度学习相关公开数据集

(选自Analytics Vidhya;作者:Pranav Dar;磐石编译) 目录 介绍 图像处理相关数据集 自然语言处理相关数据集 语音处理相关数据集 ...

41950
来自专栏Albert陈凯

机器学习(Machine Learning)&深度学习(Deep Learning)资料(Chapter 1)

机器学习(Machine Learning)&深度学习(Deep Learning)资料(Chapter 1) 注:机器学习资料篇目一共500条,篇目二开始更新...

56680
来自专栏深度学习入门与实践

【机器学习Machine Learning】资料大全

  昨天总结了深度学习的资料,今天把机器学习的资料也总结一下(友情提示:有些网站需要"科学上网"^_^)   推荐几本好书: 1.Pattern Recogni...

87850

扫码关注云+社区

领取腾讯云代金券