深度学习论文随记(三)GoogLeNet-2014年

深度学习论文随记(三)GoogLeNet

Going Deeper with Convolutions

Author: Christian Szegedy, Wei Liu,  Yangqing Jia, etl.

Year 2014

1、导引

2014年google参加ILSVRC竞赛,以此网络模型获得第一名的成绩。此模型名为GoogLeNet,而不是GoogleNet.是为了向CNN的开山鼻祖LeNet致敬。

该模型共有22层,利用multi-scaletraining。层数虽然变多,但是参数总量却只有7M,比AlexNet少多了,可是准确率却提高了:Top-5的错误率只有6.66%。

GoogLeNet模型成功证明了用更多的卷积,更深的网络层数可以得到更好的预测效果。

2、模型解读

Inception结构:

Why?

如果单纯的加深或者拓宽网络模型,会产生两个较为突出的问题:

①网络规模变大会产生更多参数,从而容易导致过拟合的发生。

②网络规模变大会使得计算量变大,消耗更多的计算资源。

解决这两个问题的方法是将全连接甚至是一般的卷积转化为稀疏矩阵。但是由于计算机计算时,对于非均匀稀疏数据这种东西的计算效率很差(这个其实很容易理解,你留意一下就会发现计算机在很多时候,都对矩形、矩阵有着难以置信的执着。),所以AlexNet模型启用了全连接层(全连接层说白了就是进行了矩阵乘法,)其目的是为了更好地优化并行运算。

所以,针对:”既要使得网络具有稀疏性,又想利用密集矩阵的高计算性能”这一个问题,人们提出了一种思路:将稀疏矩阵聚类为较为密集的子矩阵来提高计算性能,Google团队就顺着这一个思路,提出来了Inception结构。

Inception 结构的主要思路是怎样用密集成分来近似最优的局部稀疏结构

首先提出下图这样的基本结构:

本模型的分析:  1 . 采用不同大小的卷积核意味着不同大小的感受野,最后拼接意味着不同尺度特征的融合;  2 . 之所以卷积核大小采用1、3和5,主要是为了方便对齐。设定卷积步长stride=1之后,只要分别设定pad=0、1、2,那么卷积之后便可以得到相同维度的特征,然后这些特征就可以直接拼接在一起了;  3 . 文章说很多地方都表明pooling挺有效,所以Inception里面也嵌入了。  4 . 网络越到后面,特征越抽象,而且每个特征所涉及的感受野也更大了,因此随着层数的增加,3x3和5x5卷积的比例也要增加。但是5x5的卷积核会带来巨大的计算量,所以采用1x1的卷积核进行降维处理。 所以他们又做了如下的改进:

GoogLeNet:

共有22层,原始输入的数据大小为224x224x3.

3、特点

·采用了模块化的结构,方便增添和修改

·网络最后用的是averagepooling层替代全连接层,将Top-1成功率提高了一点

·网络移除了全连接层,但是保留了Dropout层

·网络增加了两个辅助的softmax用于向前传导梯度,避免梯度消失。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI研习社

「元学习」解析:学习如何梯度下降与学习新的算法

AI 研习社:本文作者 Cody Marie Wild,她是一位机器学习领域的数据科学家,在生活中还是名猫咪铲屎官,她钟爱语言和简洁优美的系统。在这篇文章中,C...

742
来自专栏CDA数据分析师

一篇文章了解贝叶斯机器学习

你知道贝叶斯法则。机器学习与它有何相关?它可能很难掌握如何把拼图块放在一起——我们了解它花了一段时间。 贝叶斯和频率论者 在本质上,贝叶斯意味着概率。这个具体的...

1836
来自专栏机器之心

学界 | 深度梯度压缩:降低分布式训练的通信带宽

选自arXiv 机器之心编译 参与:Panda ICLR 2018 将在当地时间明年 4 月 30 日~5 月 3 日在加拿大温哥华举办。目前正处于评审阶段的会...

34012
来自专栏人工智能头条

深度学习相关最新图书推荐

1394
来自专栏机器之心

从遗传算法到OpenAI新方向:进化策略工作机制全解

3205
来自专栏机器之心

CVPR2018 | 新加坡国立大学论文:利用互补几何模型改善运动分割

选自arXiv 作者:徐迅等人 机器之心编译 参与:路、张倩 许多现实世界的场景不能简单地归类为普通的或者退化的,同时对场景的运动分割也不能简单地划分为基础矩阵...

2837
来自专栏新智元

MIT 研究“看见”神经网络形成概念过程,神经网络不全是黑箱

【新智元导读】MIT 新研究为解开深度神经网络黑箱迈出重要一步:今年的CVPR上,研究者提交一份新的研究,全自动分析了 ResNet,VGG-16,GoogLe...

3055
来自专栏PaddlePaddle

卷积神经网络的经典结构(一)

正文部分系《解析卷积神经网络——深度学习实践手册》基础理论篇部分,本次将详细介绍卷积神经网络中经典结构,小结部分将前述的基础理论篇的讲解链接附上,方便大家进行参...

834
来自专栏机器学习和数学

[机智的机器在学习] 常用网络层总结之CNN篇

卷积神经网络(CNN)由输入(Inputs)、卷积层(Convolutions layer)、激活层(Activation)、池化层(Pooling layer...

3365
来自专栏阅读笔记

CVRP 2017|DLP-CNN & center loss & Island loss

面部表情识别很大程度上依赖于定义好的数据集,然而这样的数据集往往存在着很多的限制。现有的面部表情数据集往往在严格控制的实验条件下,受试者和测试环境均不具有多样性...

560

扫码关注云+社区