机器学习 - 交叉熵Cross Entropy

机器学习 - 交叉熵Cross Entropy

1. 二值交叉熵 Binary Cross Entropy

二值交叉熵函数可用于二值分类任务中的损失函数. CNN 中, 输出层可以采用 sigmoid 作为激活函数, 并将 sigmoid 输出结果, 送入二值交叉熵损失函数.

2. 交叉熵 Cross Entropy

交叉熵函数可用于多分类multi-classification任务中的损失函数. CNN 中, 输出层可以采用 softmax 来输出每一类的概率值, 再将 softmax 输出结果, 送入交叉熵损失函数. Categorical CrossEntropy 多分类的对数损失函数

3. 信息论 & 熵 & 交叉熵

信息论中, 信号所包含的信息量多少, 可理解为:

• 如果发生可能性很高的事情发生了, 则包含的信息量较少, 价值不大;
• 如果发生的可能性很低的事情发生了, 则包含的信息量较多, 价值更大.

自信息定义为:

Related

[1] - Caffe Loss 层 - SigmoidCrossEntropyLoss 推导与Python实现

[2] - Caffe Loss层 - SigmoidCrossEntropyLossLayer

[3] - Caffe源码 - SoftmaxWithLossLayer

[4] - Caffe Loss 层 - LossLayers

[5] -Caffe Loss层 - HingelossLayer