在这里插入图片描述
这是卷积神经网络学习路线的第16篇文章,介绍ICLR 2017的SqueezeNet。近些年来深层卷积网络的主要方向集中于提高网络的准确率。而对于相同的正确率,更小的CNN架构可以提供如下优势:(1)在分布式训练中,与服务器通信需求更小。(2)参数更少,从云端下载模型的数据量少。(3)更适合在FPGA等内存受限的设备上部署。基于这些优点,这篇论文提出了SqueezeNet。它在ImageNet上实现了和AlexNet相同的准确率,但是只使用了AlexNet的参数。更进一步,使用模型压缩技术,可以将SqueezeNet压缩到0.5
M,这是AlexNet的。
squeeze
层来实现。Fire Module是SqueezeNet中的基础构建模块,Fire Module如Figure1所示 :
squeeze convolution layer
:只使用卷积核,即上面提到的策略(1)。expand layer
:使用和卷积核的组合。3
个可调的超参数:(squeeze convolution layer
中 卷积核的个数),(expand layer
中卷积核的个数),(expand layer
中卷积核的个数)squeeze layer
可以限制输入通道数量,即结构设计技巧提到的技巧(2)。SqueezeNet以卷积层conv1
开始,接着使用8
个Fire modules
(fire 2-9
),最后以卷积层conv10
结束。每个Fire Module中的Filter
数量逐渐增加,并且在conv1
,fire4
,fire8
, 和 conv10
这几层之后使用步长为2的Max-Pooling
,即将池化层放在相对靠后的位置,这使用了以上的策略(3)。
如图,左边为原始版本的SqueezeNet,中间为包含简单跳跃连接的改进版本,最右侧为使用复杂跳跃连接的改进版本。更加具体的细节如Table1所示:
在这里插入图片描述
这里有一些细节,例如我们看fire2
这个模块在剪枝前的参数是11920
,这个参数是怎么计算得到的呢?fire2
之前的maxpool1
层的输出是,之后接着的Squeeze
层有16
个的卷积filter,注意这里是多通道卷积,为了避免与二维卷积混淆,在卷积尺寸末尾写上了通道数。这一层的输出尺寸为,之后将输出分别送到expand层中的(64个)和(64个)进行处理,注意这里不对16个通道进行切分(就是说这里和MobileNet
里面的那种深度可分离卷积不一样,这里就是普通的卷积)。为了得到大小相同的输出,对的卷积输入进行尺寸为1
的zero padding
。分别得到和的大小相同的特征图。将这两个特征图concat
到一起得到大小的特征图,加上bias
参数,这样总参数为。
可以看到Fire Module中先通过squeeze
层的卷积来降维和降低参数,之后的expand
层使用不同尺寸的卷积核来提取特征同时进行升维。这里的卷积核参数较多,远大于卷积的参数,所以作者对卷积又进行了卷积操作和降维操作以减少参数量。从网络整体来看,特征图的尺寸不断减小,通道数不断增加,最后使用平均池化将输出维度转换成完成分类任务。
SqueezeNet还有以下的一些细节:
expand
模块中,给卷积核的原始输入添加一个像素的边界(zero-padding
)。squeeze layer
和expand layer
都是用ReLU
作为激活函数。fire9
模块之后,使用Dropout
,比例取50%
。SqueezeNet
中没有全连接层,这借鉴了Network in Network
的思想。0.04
,,在训练过程中线性衰减学习率。caffe
中不支持使用2个不同尺寸的卷积核,所以expand layer
实际上是使用了2
个单独的卷积层(卷积和卷积核),最后将这两层的输出连接在一起,这在数值上等价于使用单层但包含2
个不同尺寸卷积核的方式。SqueezeNet和AlexNet以及其他压缩算法比较的结果如Table2所示:
在这里插入图片描述
可以看到,SVD
方法能将预训练的AlexNet
模型压缩为原来的,top1
和top5
正确率几乎不变。模型压缩能将AlexNet
压缩到原来的,正确率基本不变。SqueezeNet的压缩倍率可以达到50
倍以上,并且准确率还有略微的提升。注意到即使使用float32
数值来表示模型参数,SqueezeNet也比之前压缩率最高的模型更小,同时表现更好。如果将模型压缩策略用在SqueezeNet上,使用33%
的稀疏表示和int8
量化,会得到一个仅有0.66M
的模型。进一步,如果使用6
比特量化,会得到仅有0.47MB
的模型,同时准确率不变。此外,结果表明模型压缩不仅对包含庞大参数参数量的CNN
网络起作用,对于较小的网络,例如SqueezeNet
也是有用的。将SqueezeNet
的网络结构和模型压缩结合起来可以将原模型压缩到。
在SqueezeNet中,每一个Fire Module有3
个的超参数,即和。SqueezeNet一共有8
个Fire modules,即一共有24
个超参数,下面将讨论其中一些重要的超参数影响。为方便讨论,定义如下参数:
expand filter
个数。expand filter
个数。expand filter
个数。squeeze layer
中filter
个数除以Fire module中filter
总个数得到的一个比例。expand layer
中有和两种卷积,这里定义的参数是卷积个数占expand layer
中卷积核总个数的比例。受ResNet启发,这里探索跳跃连接(bypass conection
)的影响。在Figure 2中展示了三种不同的网络架构。下表给出了实验结果:
可以看到使用跳跃连接后,准确率有一定的提高。
从Figure4中发现fire7_e1x1
和fire9_e1x1
在精度图中都有一个凹痕,因此特别敏感。所以论文增加了fire7_e1x1
和fire9_e1x1
中通道的数量,并把这个模型叫做“SqueezeNet++”。同时从Table5可以发现,从稀疏模型中提高密集进行再训练可以提高精度,也就是说与密集的CNN Basline相比,dense->sparse->dense (DSD)训练可以产生更高的准确性。
这篇推文简单介绍了移动端卷积神经网络模型SqueezeNet,其核心是采用模块的卷积组合,然后做了一些Trick同时结合深度模型压缩技术。SqueezeNet算是结合了小模型的两个研究方向即:结构优化和模型压缩。并且SqueezeNet有v1.0和v1.1两个版本,SqueezeNet v1.1的计算量比v1.0少2.4倍,而且没有牺牲精度,一共有3个pool,v1.1的pool靠前了。
本文分享自 GiantPandaCV 微信公众号,前往查看
如有侵权,请联系 cloudcommunity@tencent.com 删除。
本文参与 腾讯云自媒体同步曝光计划 ,欢迎热爱写作的你一起参与!