深度学习: 分类 目标函数 (交叉熵误差(CE) -> 焦点误差(FL))

Introduction

Note:

• CE与FL 均为分类任务的目标函数。

CE

交叉熵误差 (Cross-entropy Error，CE) ：

CE(y^)=−1n∑k=1n[I{y=y′}log(pt)]CE(y^)=−1n∑k=1n[I{y=y′}log⁡(pt)]

CE(\hat{y}) = - \frac{1}{n} \sum_{k=1}^n [I \{y=y'\} \log(p_t)]

Note：

• nnn：样本数。
• 只对 ground_truth所对应的那一个单类进行响应计算。

FL

焦点误差（Focal Loss，FL），于2017年提出。

其设计如下：

FL(y^)i=(1−pt)γCE(y^)iFL(y^)i=(1−pt)γCE(y^)i

FL(\hat{y})_{i} = (1-p_t)^\gamma CE(\hat{y})_{i}

CE -> FL

FL的出现极大地缓解了CE无法克服的“类别不平衡问题”。FL整体降低了loss，但对量少类的loss削减幅度较小，因此量少类loss所占总loss的比例大大升高。

[1] Deep Learning [2] 深度学习: Softmax 函数 [3] 深度学习: 目标函数 [4] 交叉熵代价函数