二值交叉熵函数可用于二值分类任务中的损失函数. CNN 中, 输出层可以采用 sigmoid 作为激活函数, 并将 sigmoid 输出结果, 送入二值交叉熵损失函数.
交叉熵函数可用于多分类multi-classification任务中的损失函数. CNN 中, 输出层可以采用 softmax 来输出每一类的概率值, 再将 softmax 输出结果, 送入交叉熵损失函数. Categorical CrossEntropy 多分类的对数损失函数
信息论中, 信号所包含的信息量多少, 可理解为:
自信息定义为:
[1] - Caffe Loss 层 - SigmoidCrossEntropyLoss 推导与Python实现
[2] - Caffe Loss层 - SigmoidCrossEntropyLossLayer
[3] - Caffe源码 - SoftmaxWithLossLayer