前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Focal Loss详解以及为什么能够提高处理不平衡数据分类的表现

Focal Loss详解以及为什么能够提高处理不平衡数据分类的表现

作者头像
deephub
发布2020-07-02 11:16:43
4.9K0
发布2020-07-02 11:16:43
举报
文章被收录于专栏:DeepHub IMBA
不同γ设置的损失曲线

Kaggle竞赛:SIIM-ISIC黑素瘤分类中,必须输出两类皮肤癌的皮肤病变图像中黑色素瘤的概率。因此它是一种二值图像分类任务。评价标准是AUC(曲线下面积)度量。首先,我研究了一个用交叉熵作为损失函数的模型。在网上搜索之后,我发现了这篇论文,Facebook AI research(FAIR)的团队引入了一个新的损失函数——Focal loss。

我用这个损失函数得到了一个很好的AUC分数(92+),所以我决定讨论一下这个损失函数。

目标检测

在讨论Focal loss之前,让我简要概述一下两种类型的对象检测器。一级和二级探测器。

两个阶段的目标检测

此类对象检测器需要两个阶段来检测对象。第一阶段扫描图像并生成建议,第二阶段对这些建议进行分类并输出边框和类。精度相当好,但速度慢于一级物体探测器。

一个阶段的目标检测

这类对象检测器只需要一个阶段来检测对象。将图像划分为(n x n)的网格,其中n可以是任意正整数。然后通过卷积神经网络检测对象,输出图像中与对象对应的包围框。请注意,所有网格都在这个网络的单一迭代中分类。这些物体探测器比两级物体探测器速度快,但相对来说精度较低。

Focal Loss(交叉熵损失的延伸)

Focal Loss基本上是交叉熵损失的延伸。它足够具体地处理阶级不平衡的问题。交叉熵损失被定义为

这里,y={-1,1}为ground truth label, p为待分类实例属于正类的概率(y=1)。

我们还可以将变量\pt定义为

所以交叉熵损失可以写成

这个损失函数在某种程度上不能处理正/负例子的重要性,因此引入了一个新的版本,名称为:Balanced Cross entropy(平衡交叉熵),并被定义为

这里引入了一个权重因子“α”,其范围为[0,1],正类为α,负类为“1 -α”,这两个定义合并在一个名为“α”的名称下,可以定义为

这个损失函数稍微解决了类不平衡的问题,但是仍然无法区分简单和困难的例子。为了解决这个问题,我们定义了焦损失。

Focal Loss的定义

理论定义:Focal Loss可以看作是一个损失函数,它使容易分类的样本权重降低,而对难分类的样本权重增加。

数学定义:Focal loss 调变因子(modulating factor)乘以原来的交叉熵损失。

公式为:

(1-pt)^γ为调变因子,这里γ≥0,称为聚焦参数。

从上述定义中可以提取出Focal Loss的两个性质:

  1. 当样本分类错误时,pt趋于0,调变因子趋于1,使得损失函数几乎不受影响。另一方面,如果示例被正确分类,pt将趋于1,调变因子将趋向于0,使得损耗非常接近于0,从而降低了该特定示例的权重。
  2. 聚焦参数(γ)平滑地调整易于分类的示例向下加权的速率。

FL(Focal Loss)和CE(交叉熵损失)的比较

当γ=2时,与概率为0.9的示例相比,概率为0.9的示例的损失比CE和0.968低100倍,损失将降低1000倍。顶部的图描述了不同γ值下的FL。当γ=0时,FL等于CE损耗。这里我们可以看到,对于γ=0(CE损失),即使是容易分类的例子也会产生非平凡的损失震级。这些求和的损失可以压倒稀有类(很难分类的类)。

Focal Loss*(一种优化后的形式)

对于Focal loss的新定义,我们可以将数量xt定义为:

这里y={-1,1}指定基本真标签。我们可以将pt写成:

我们可以用xt来定义Focal Loss损失:

γ:控制损失曲线的陡度。

β:控制损失曲线的偏移。

最后,让我们用CE、FL和FL*的损耗曲线图结束讨本篇文章(β和γ有两个设置)-

虽然Focal Loss是专门为单级目标检测定义的,它也可以很好地执行图像分类任务。

引用

Focal Loss for Dense Object Detection https://arxiv.org/pdf/1708.02002.pdf

作者:Sarthak khandelwal

deephub翻译组

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2020-07-01,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 DeepHub IMBA 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 目标检测
  • Focal Loss(交叉熵损失的延伸)
  • Focal Loss的定义
  • Focal Loss*(一种优化后的形式)
  • 引用
相关产品与服务
图像识别
腾讯云图像识别基于深度学习等人工智能技术,提供车辆,物体及场景等检测和识别服务, 已上线产品子功能包含车辆识别,商品识别,宠物识别,文件封识别等,更多功能接口敬请期待。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档