深度学习论文随记(三)GoogLeNet-2014年

深度学习论文随记(三)GoogLeNet

Going Deeper with Convolutions

Author: Christian Szegedy, Wei Liu,  Yangqing Jia, etl.

Year 2014

1、导引

2014年google参加ILSVRC竞赛,以此网络模型获得第一名的成绩。此模型名为GoogLeNet,而不是GoogleNet.是为了向CNN的开山鼻祖LeNet致敬。

该模型共有22层,利用multi-scaletraining。层数虽然变多,但是参数总量却只有7M,比AlexNet少多了,可是准确率却提高了:Top-5的错误率只有6.66%。

GoogLeNet模型成功证明了用更多的卷积,更深的网络层数可以得到更好的预测效果。

2、模型解读

Inception结构:

Why?

如果单纯的加深或者拓宽网络模型,会产生两个较为突出的问题:

①网络规模变大会产生更多参数,从而容易导致过拟合的发生。

②网络规模变大会使得计算量变大,消耗更多的计算资源。

解决这两个问题的方法是将全连接甚至是一般的卷积转化为稀疏矩阵。但是由于计算机计算时,对于非均匀稀疏数据这种东西的计算效率很差(这个其实很容易理解,你留意一下就会发现计算机在很多时候,都对矩形、矩阵有着难以置信的执着。),所以AlexNet模型启用了全连接层(全连接层说白了就是进行了矩阵乘法,)其目的是为了更好地优化并行运算。

所以,针对:”既要使得网络具有稀疏性,又想利用密集矩阵的高计算性能”这一个问题,人们提出了一种思路:将稀疏矩阵聚类为较为密集的子矩阵来提高计算性能,Google团队就顺着这一个思路,提出来了Inception结构。

Inception 结构的主要思路是怎样用密集成分来近似最优的局部稀疏结构

首先提出下图这样的基本结构:

本模型的分析:  1 . 采用不同大小的卷积核意味着不同大小的感受野,最后拼接意味着不同尺度特征的融合;  2 . 之所以卷积核大小采用1、3和5,主要是为了方便对齐。设定卷积步长stride=1之后,只要分别设定pad=0、1、2,那么卷积之后便可以得到相同维度的特征,然后这些特征就可以直接拼接在一起了;  3 . 文章说很多地方都表明pooling挺有效,所以Inception里面也嵌入了。  4 . 网络越到后面,特征越抽象,而且每个特征所涉及的感受野也更大了,因此随着层数的增加,3x3和5x5卷积的比例也要增加。但是5x5的卷积核会带来巨大的计算量,所以采用1x1的卷积核进行降维处理。 所以他们又做了如下的改进:

GoogLeNet:

共有22层,原始输入的数据大小为224x224x3.

3、特点

·采用了模块化的结构,方便增添和修改

·网络最后用的是averagepooling层替代全连接层,将Top-1成功率提高了一点

·网络移除了全连接层,但是保留了Dropout层

·网络增加了两个辅助的softmax用于向前传导梯度,避免梯度消失。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏计算机视觉战队

每日一学——卷积神经网络

注:该篇幅参考斯坦福大学的教程,有兴趣的朋友可以去阅读。 卷积神经网络(CNN) 卷积神经网络和前几次介绍的神经网络非常相似:它们都是由神经元组成,神经元中有具...

3448
来自专栏机器之心

教程 | 从检查过拟合到数据增强,一文简述提升神经网络性能方法

1323
来自专栏CreateAMind

torcs强化学习的图像生成低纬表示重建效果

commaai的生成模型进行生成torcs道路画面,左侧为生成图像,右侧为实际游戏图像,两个画面为一个epoch的1万次循环训练的效果,下面跨度98个epoch...

854
来自专栏计算机视觉战队

特征金字塔特征用于目标检测

前言: 这篇文章主要使用特征金字塔网络来融合多层特征,改进了CNN特征提取。作者也在流行的Fast&Faster R-CNN上进行了实验,在COCO数据集上测...

3337
来自专栏Pytorch实践

大话文本分类

概述 文本分类是自然语言处理的重要应用,也可以说是最基础的应用。常见的文本分类应用有:新闻文本分类、信息检索、情感分析、意图判断等。本文主要针对文本分类的方法进...

46610
来自专栏SnailTyan

Inception-V3论文翻译——中文版

Rethinking the Inception Architecture for Computer Vision 摘要 对许多任务而言,卷积网络是目前最新的计...

2221
来自专栏算法channel

北大陈浩然笔记:特征缩放和泛化能力(亮点)

表示第 i 个数据的第 j 个属性,它是一个实数,yi 是第 i 个数据的标签值,也是实数。f是我们学习到的模型,

620
来自专栏机器之心

CVPR 2018 | 残差密集网络:利用所有分层特征的图像超分辨率网络

36810
来自专栏专知

【干货】结合单阶段和两阶段目标检测的优势:基于单次精化神经网络的目标检测方法

【导读】近日,针对目标检测中单阶段和两阶段方法分别存在准确度和速度瓶颈的问题,来自中科院自动化所、中国科学院大学和GE Global Research的学者发表...

43110
来自专栏人工智能LeadAI

想搞机器学习,不会特征工程?

引言 在之前学习机器学习技术中,很少关注特征工程(Feature Engineering),然而,单纯学习机器学习的算法流程,可能仍然不会使用这些算法,尤其是应...

2673

扫码关注云+社区