正文共2500张图,13张图,预计阅读时间13分钟。
caffe的代码层次
首先让我们回顾一下caffe的代码层次: blob,layer, net和solver.
其中blob是数据结构, layer是网络的层, net是将layer搭建成的网络,solver是网络BP时候的求解算法. 本节主要介绍caffe的layer基本结构, 种类, 以及不同类型的layer如何定义.
layer的基本结构和种类
Caffe的layer的基本结构:
从一个典型的卷积神经网络模型结构出发, 首先需要数据输入层,然后是图像的预处理,例如图像切割slice, 卷积层Convolution, 在caffe中,激活函数等数据运算也用layer的方式定义. 总的来说,caffe的layer种类如下:
数据输入层:
视觉层(Vision Layers): 包括Convolution, Pooling, Local Response Normalization (LRN), im2col等
损失层: softmax-loss层, Euclidean层.
循环层: RNN, LSTM层等.
工具层(Utility layer): 例如reshape层, concat层等
普通层(Common layer): dropout层, 全连接层, embed层.
数据输入层
一个常见的数据输入层定义如下. 输入数据定义为lmdb数据库格式.
详细的数据数据层定义见:http://www.cnblogs.com/denny402/p/5070928.html
视觉层
视觉层包括Convolution, Pooling, Local Response Normalization (LRN), im2col等层
卷积层
卷积层是卷积神经网络的核心层. 卷积层的定义:
lr_mult: 学习率的系数,最终的学习率是这个数乘以solver.prototxt配置文件中的base_lr。如果有两个lr_mult, 则第一个表示权值的学习率,第二个表示偏置项的学习率。一般偏置项的学习率是权值学习率的两倍。
pad: 进行边缘扩充。默认为0, 也就是不扩充。 扩充的时候是左右、上下对称的,比如卷积核的大小为5*5,那么pad设置为2,则四个边缘都扩充2个像素,即宽度和高度都扩充了4个像素,保证在卷积运算之后的特征图就不会变小。也可以通过pad_h和pad_w来分别设定。
输入:n*c0*w0*h0
输出:n*c1*w1*h1
其中,c1就是参数中的num_output,生成的特征图个数
w1=(w0+2*pad-kernel_size)/stride+1;
h1=(h0+2*pad-kernel_size)/stride+1;
如果设置stride为1,前后两次卷积部分存在重叠。如果设置pad=(kernel_size-1)/2,则运算后,宽度和高度不变.
池化层
池化层有效减少了网络参数, 同时尽可能保持了位置信息.
这里pad还是默认为0,不进行扩充。
输入:n*c*w0*h0
输出:n*c*w1*h1
和卷积层的区别就是其中的c保持不变
w1=(w0+2*pad-kernel_size)/stride+1;
h1=(h0+2*pad-kernel_size)/stride+1;
如果设置stride为2,前后两次卷积部分不重叠。100*100的特征图池化后,变成50*50.
3.局部响应归一化层(Local Response Normalization, LRN)
对于每一个输入, 去除以
得到归一化后的输出。
4.Im2col层.
将输入的image的各个区域(小矩阵)拉成向量,然后依次排列形成新的大矩阵.
在caffe中,卷积运算就是先对数据进行im2col操作,再进行内积运算(inner product)。这样做,比原始的卷积操作速度更快。
LRN和im2col层的详细情况见:http://www.cnblogs.com/denny402/p/5071126.html
激活层
在激活层,是对输入做元素级的激活操作(函数变换), 输入和输出的维度是一致的.常用的激活函数有sigmoid, relu和tanh等.
典型的激活层定义:
以ReLU层为例, 非线性变化层 max(0,x),一般与CONVOLUTION层成对出现
其他层
全连接层
weight_filler: 权值初始化。 默认为“constant",值全为0,很多时候我们用"xavier"算法来进行初始化,也可以设置为”gaussian"
bias_filler: 偏置项的初始化。一般设置为"constant",值全为0。
bias_term: 是否开启偏置项,默认为true, 开启
全连接层的定义为:
Dropout层
防止过拟合.只需要定义dropout比率就可以了.
Dropout层
softmax-loss层
如果我们最终目的就是得到各个类别的概率似然值,这个时候就只需要一个 Softmax层,而不一定要进行softmax-Loss 操作;如果输出结果理论上的概率分布已知,然后要做最大似然估计,此时最后需要一个softmax-Loss层.
从Softmax-loss的计算公式可以看出, softmax-loss实际上定义的是交叉熵:
softmax-loss层的定义:
Softmax和softmax-loss的比较:http://freemind.pluskid.org/machine-learning/softmax-vs-softmax-loss-numerical-stability/
还有如reshape层等,参考:caffe官网: http://caffe.berkeleyvision.org/tutorial/layers.html
领取专属 10元无门槛券
私享最新 技术干货