caffe详解之softmax层

从零开始，一步一步学习caffe的使用，期间贯穿深度学习和调参的相关知识！

softmax layer

softmax layer: 输出似然值

layers {
  bottom: "cls3_fc"
  top: "prob"
  name: "prob"
  type: "softmax"
}

公式如下所示：

softmax-loss layer：输出loss值

layer {
  name: "loss"
  type: "SoftmaxWithLoss"
  bottom: "ip1"
  bottom: "label"
  top: "loss"
  loss_param{
    ignore_label：0
    normalize: 1
    normalization: FULL
  }
}

公式如下所示：

loss_param 说明：

• ignore_label int型变量，默认为空。 如果指定值，则label等于ignore_label的样本将不参与Loss计算，并且反向传播时梯度直接置0.
• normalize bool型变量，即Loss会除以参与计算的样本总数；否则Loss等于直接求和
• normalization enum型变量，默认为VALID，具体代表情况如下面的代码。

enum NormalizationMode {
  // Divide by the number of examples in the batch times spatial dimensions.
  // Outputs that receive the ignore label will NOT be ignored in computing the normalization factor.
  FULL = 0;

  // Divide by the total number of output locations that do not take the
  // ignore_label.  If ignore_label is not set, this behaves like FULL.
  VALID = 1;

  // Divide by the batch size.
  BATCH_SIZE = 2;

  //
  NONE = 3;
}

(1) 未设置normalization，但是设置了normalize: normalize==1 : 归一化方式为VALID normalize==0 : 归一化方式为BATCH_SIZE (2)一旦设置normalization，归一化方式则由normalization决定，不再考虑normalize。

其他说明

softmax的上溢与下溢

对于softmax的计算公式来说，对于比较小的输入数据来说是没有什么问题的，但是针对指数函数的特点，对于较大或者较小的数据进行softmax计算会出现数据上溢与下溢的问题。计算机中浮点数的最大表示位数为2^64 ,如果超过此数会产生上溢inf,同样数据小于2^(-64)计算机在计算过程中会产生下溢-inf。举个例子:

• 对于[3,1,-3]，直接计算是可行的，我们可以得到(0.88,0.12,0)。
• 对于[1000,1000,1000]，我们会得到inf（上溢）；
• 对于[-1000,-999,-1000]，我们会得到-inf（下溢）。

softmax解决上溢与下溢的办法

对任意a都成立，这意味着我们可以自由地调节指数函数的指数部分，一个典型的做法是取输入向量中的最大值：a=max{x1,x2…..xn} 这可以保证指数最大不会超过0，于是避免了上溢。即便剩余的部分下溢出了，加了a之后，也能得到一个合理的值。 并且softmax不受输入的常数偏移影响，即softmax(x)=softmax(x+c)证明如下：

参考

softmax函数计算时候为什么要减去一个最大值？ caffe层解读系列-softmax_loss(http://blog.csdn.net/shuzfan/article/details/51460895)