十分钟一起学会Inception网络

作者 | 荔枝boy

编辑 | 安可

出品 | 磐创AI技术团队

【磐创AI导读】:本文介绍了一些Inception网络的相关知识。想要获取更多的机器学习、深度学习资源。欢迎大家点击上方蓝字关注我们的公众号:磐创AI。

一、Inception网络简介

二、Inception网络模块

三、Inception网络降低参数计算量

四、Inception网络减缓梯度消失现象

五、Inception网络框架

六、Inception论文彩蛋

一、Inception网络简介

Inception网络又叫做GoogLeNet,之所以不叫GoogleNet,是为了向LeNet致敬,是2014年ChristianSzegedy在《Going deeper with convolutions》提出的一种全新的深度学习结构。

一般来说,提升网络性能最保险的方法就是增加网络的宽度和深度,这样做同时也会伴随着副作用。首先越深越宽的网络往往会意味着有巨大的参数量,当数据量很少的时候,训练出来的网络很容易过拟合,并且当网络有很深的深度的时候,很容易造成梯度消失现象这两个副作用制约着又深又宽的卷积神经网络的发展,Inception网络很好的解决了这两个问题。

二、Inception网络模块

下图是Inception中的一个模块,Inception由多个这样的模块组合而成的。

Inception网络结构中其中一个模块是这样的:在同一层中,分别含有1*1、3*3、5*5卷积和池化层,在使用滤波器进行卷积操作与池化层进行池化操作时都会使用padding以保证输出都是同尺寸大小,经过这些操作后输出的结果也就是特征图Featuremap再全部整合在一起。该模块的特性就是在同一层中,分别通过使用上述不同尺寸的滤波器与进行池化操作收集到了上一层输入的不同特征。这样就增加了网络的宽度,用这些不同尺寸的滤波器和池化操作去提取上一层的不同特征。

但是这样存在一个问题,经过这样一个模块后,输出的特征图往往很大,滤波器参数的默认计算是滤波器的尺寸n*n*深度的,深度等于上一层的特征图的个数,这样用不了几层就会造成参数过多并且计算量过大的问题,为了解决这个问题,使用了如下的构造:

相比于上一个原始的Inception模块,维度减少模型中在3*3卷积层和5*5卷积层前增加了1*1的卷积层,并在池化层后增加了1*1的卷积层。这样做的意义是减少了参数量,避免了每层的计算量过大。

三、Inception网络降低参数计算量

1*1卷积降低参数和计算量:

如上图所示,针对5*5卷积的这一层,不包含1*1的卷积模块时,参数量为5*5*256*64=409600个参数,连接数为(5*5*256+1)*64*n*n=409664*n*n个。而包含1*1的卷积模块时,参数量为1*1*256*32+5*5*32*64=59392个参数,连接数为((1*1*256+1)*32*n*n+(5*5*32+1)*64*n*n)=59488*n*n个。由此可见,包含1*1的卷积模块比不包含的参数数量和计算量要少很多。

Inception网络在增加了网络宽度,每一层都用不同的卷积池化去提取上一层特征图的特征,并且采用了在3*3和5*5卷积前,池化层后添加1*1卷积,可以有效避免了复杂的参数和计算量。这样Inception很好的缓和了因扩大网络宽度而造成的计算量过大和过拟合问题。

四、Inception网络减缓梯度消失现象

Inception网络框架中会有额外的两个softmadx预测层,这两个预测层分别是从网络框架中间部分引出的分支,用于反向传播更新梯度,这样就避免了因梯度消失导致浅层的网络参数无法更新。注意这两个分支只在训练的时候防止梯度消失会用到,真正做预测的时候需要删除。

五、Inception网络框架

六.Inception论文彩蛋

以上就是关于Inception网络的介绍,顺便说一下Christian Szegedy在发表该网络的论文《Going deeper with convolutions》中附了一个小彩蛋,就是下图,表明了往更深层次网络架构发展的决心,其实将该网络取名Inception,就是《盗梦空间》的名称。

原文发布于微信公众号 - 磐创AI(xunixs)

原文发表时间:2018-09-11

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏ATYUN订阅号

【学术】为回归问题选择最佳机器学习算法

AiTechYun 编辑:xiaoshan 任何类型的机器学习(ML)问题,都有许多不同的算法可供选择。在机器学习中,有一种叫做“无免费午餐(No Free L...

2696
来自专栏人工智能

课后作业(二):如何用一个只有一层隐藏层的神经网络分类Planar data

来源:sandipanweb 编译:Bot 编者按:之前,论智曾在TOP 10:初学者需要掌握的10大机器学习(ML)算法介绍了一些基础算法及其思路,为了与该帖...

1846
来自专栏杨熹的专栏

为什么要用交叉验证

本文结构: 什么是交叉验证法? 为什么用交叉验证法? 主要有哪些方法?优缺点? 各方法应用举例? ---- 什么是交叉验证法? 它的基本思想就是将原始数据(da...

4844
来自专栏云时之间

深度学习与神经网络:正则化小栗子

1484
来自专栏weixuqin 的专栏

深度学习之 TensorFlow(四):卷积神经网络

1463
来自专栏数说工作室

【分类战车SVM】第三话:最大间隔分类器

分类战车SVM (第三话:最大间隔分类器) 查看本《分类战车SVM》系列的内容: 第一话:开题话 第二话:线性分类 第三话:最大间隔分类器 第四话:拉格朗日对偶...

41310
来自专栏算法channel

Python神经网络| 一篇很棒的实战笔记,附源码

感谢粉丝:疯琴,以下分享是疯琴在学习《Python神经网络》时的笔记,总结得很棒,感谢疯琴的乐于分享精神,相信这篇笔记一定会帮助到大家。

1743
来自专栏新智元

谷歌官方:反向传播算法图解

【新智元导读】反向传播算法(BP算法)是目前用来训练人工神经网络的最常用且最有效的算法。作为谷歌机器学习速成课程的配套材料,谷歌推出一个演示网站,直观地介绍了反...

1470
来自专栏weixuqin 的专栏

深度学习之 TensorFlow(四):卷积神经网络

3637
来自专栏杂七杂八

反向传播与神经网络初步(下)

神经网络训练过程:通过前馈得到损失,通过反馈得到梯度,通过对梯度的使用来完成权值更新。

1062

扫码关注云+社区

领取腾讯云代金券