Focal Loss详解以及为什么能够提高处理不平衡数据分类的表现

不同γ设置的损失曲线

Kaggle竞赛:SIIM-ISIC黑素瘤分类中，必须输出两类皮肤癌的皮肤病变图像中黑色素瘤的概率。因此它是一种二值图像分类任务。评价标准是AUC(曲线下面积)度量。首先，我研究了一个用交叉熵作为损失函数的模型。在网上搜索之后，我发现了这篇论文，Facebook AI research(FAIR)的团队引入了一个新的损失函数——Focal loss。

我用这个损失函数得到了一个很好的AUC分数(92+)，所以我决定讨论一下这个损失函数。

目标检测

在讨论Focal loss之前，让我简要概述一下两种类型的对象检测器。一级和二级探测器。

两个阶段的目标检测

此类对象检测器需要两个阶段来检测对象。第一阶段扫描图像并生成建议，第二阶段对这些建议进行分类并输出边框和类。精度相当好，但速度慢于一级物体探测器。

一个阶段的目标检测

这类对象检测器只需要一个阶段来检测对象。将图像划分为(n x n)的网格，其中n可以是任意正整数。然后通过卷积神经网络检测对象，输出图像中与对象对应的包围框。请注意，所有网格都在这个网络的单一迭代中分类。这些物体探测器比两级物体探测器速度快，但相对来说精度较低。

Focal Loss(交叉熵损失的延伸)

Focal Loss基本上是交叉熵损失的延伸。它足够具体地处理阶级不平衡的问题。交叉熵损失被定义为

这里，y={-1,1}为ground truth label, p为待分类实例属于正类的概率(y=1)。

我们还可以将变量\pt定义为

所以交叉熵损失可以写成

这个损失函数在某种程度上不能处理正/负例子的重要性，因此引入了一个新的版本，名称为:Balanced Cross entropy（平衡交叉熵），并被定义为

这里引入了一个权重因子“α”，其范围为[0,1]，正类为α，负类为“1 -α”，这两个定义合并在一个名为“α”的名称下，可以定义为

这个损失函数稍微解决了类不平衡的问题，但是仍然无法区分简单和困难的例子。为了解决这个问题，我们定义了焦损失。

Focal Loss的定义

理论定义:Focal Loss可以看作是一个损失函数，它使容易分类的样本权重降低，而对难分类的样本权重增加。

数学定义:Focal loss 调变因子（modulating factor）乘以原来的交叉熵损失。

公式为：

(1-pt)^γ为调变因子，这里γ≥0，称为聚焦参数。

从上述定义中可以提取出Focal Loss的两个性质：

当样本分类错误时，pt趋于0，调变因子趋于1，使得损失函数几乎不受影响。另一方面，如果示例被正确分类，pt将趋于1，调变因子将趋向于0，使得损耗非常接近于0，从而降低了该特定示例的权重。

聚焦参数（γ）平滑地调整易于分类的示例向下加权的速率。

FL(Focal Loss)和CE（交叉熵损失）的比较

当γ=2时，与概率为0.9的示例相比，概率为0.9的示例的损失比CE和0.968低100倍，损失将降低1000倍。顶部的图描述了不同γ值下的FL。当γ=0时，FL等于CE损耗。这里我们可以看到，对于γ=0（CE损失），即使是容易分类的例子也会产生非平凡的损失震级。这些求和的损失可以压倒稀有类（很难分类的类）。

Focal Loss*（一种优化后的形式）

对于Focal loss的新定义，我们可以将数量xt定义为：

这里y={-1,1}指定基本真标签。我们可以将pt写成：

我们可以用xt来定义Focal Loss损失：

γ：控制损失曲线的陡度。

β：控制损失曲线的偏移。

最后，让我们用CE、FL和FL*的损耗曲线图结束讨本篇文章（β和γ有两个设置）-

虽然Focal Loss是专门为单级目标检测定义的，它也可以很好地执行图像分类任务。

引用

Focal Loss for Dense Object Detection  https://arxiv.org/pdf/1708.02002.pdf

作者：Sarthak khandelwal

deephub翻译组

DeepHub