Note:
交叉熵误差 (Cross-entropy Error,CE) :
CE(y^)=−1n∑k=1n[I{y=y′}log(pt)]CE(y^)=−1n∑k=1n[I{y=y′}log(pt)]
CE(\hat{y}) = - \frac{1}{n} \sum_{k=1}^n [I \{y=y'\} \log(p_t)]
Note:
焦点误差(Focal Loss,FL),于2017年提出。
其设计如下:
FL(y^)i=(1−pt)γCE(y^)iFL(y^)i=(1−pt)γCE(y^)i
FL(\hat{y})_{i} = (1-p_t)^\gamma CE(\hat{y})_{i}
FL的出现极大地缓解了CE无法克服的“类别不平衡问题”。FL整体降低了loss,但对量少类的loss削减幅度较小,因此量少类loss所占总loss的比例大大升高。
[1] Deep Learning [2] 深度学习: Softmax 函数 [3] 深度学习: 目标函数 [4] 交叉熵代价函数