专栏首页Pytorch实践Huber Loss和Focal Loss的原理与实现
原创

Huber Loss和Focal Loss的原理与实现

Huber Loss主要用于解决回归问题中,存在奇点数据带偏模型训练的问题;Focal Loss主要解决分类问题中类别不均衡导致的模型训偏问题。

一.Huber Loss

1. 背景说明

对于回归分析一般采用MSE目标函数,即:Loss(MSE)=sum((yi-pi)**2)。 对于奇异点数据,模型给出的pi与真实yi相差较远,这样Loss增大明显,如果不进行Loss调整,模型很容易将奇异点数据进行过拟合。

2. 数学公式

Huber Loss

式子中delta是一个边界,用于判断是否为较为奇异的数据点,当在这个边界内的数据默认使用MSE Loss,大于这个边界的数据将Loss减小,使用线性函数。这种方法能降低奇异数据点对于Loss计算的权重,避免模型过拟合。

3. Tensorflow实现

huber loss Tensorflow实现

一.Focal Loss

1. 背景说明

对于分类问题,当各类别的训练数据不均衡时,模型训练会优先数据比重较多的类别,对于较少数据的类别准确率可能较差,模型容易被带偏。

(1) Cross Entropy

交叉熵Loss

(2) Focal Loss

何凯明挂名paper。

Focal loss

论文指出,对于二分类任务,alpha取值0.25, gamma取值2效果比较好,可以根据自身任务调整参数

对于二分类问题公式退化为:

Focal loss二分类

2. Tensorflow实现

Focal Loss Tensorflow实现

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 分类问题样本不均衡常见的解决方法

    分类时,由于训练集合中各样本数量不均衡,导致模型训偏在测试集合上的泛化性不好。解决样本不均衡的方法主要包括两类:(1)数据层面,修改各类别的分布;(2)分类器层...

    CodeInHand
  • 游戏推动微信小程序生态,跳一跳小游戏开发

    CodeInHand
  • 深度学习之句子表达

    在之前的文章里,我们介绍了词语表达的训练,使用skip-gram模型训练word2vec。既然词语能表达,那句子也同样能被分布式的向量表示。这里主要介绍几种句子...

    CodeInHand
  • 轻松学Pytorch-使用卷积神经网络实现图像分类

    大家好,本篇教程的贡献者来自社区投稿作者【陨星落云】,使用CIFAR-10数据集进行图像分类。该数据集中的图像是彩色小图像,其中被分为了十类。一些示例图像,如下...

    OpenCV学堂
  • IBM研究院提出Graph2Seq,基于注意力机制的图到序列学习

    Seq2Seq(序列到序列)及其变体在机器翻译、自然语言生成、语音识别、新药发现之类的领域表现非常出色。大多数Seq2Seq模型都属于编码器-解码器家族,其中编...

    崔庆才
  • webshell 常见 Bypass waf 技巧总结

    对于很多,和我一样刚刚入门,或者还在门边徘徊的小伙伴们,在渗透学习的过程中,总会遇到各种情况,例如 php 大马被 waf 拦截的时候,那么如何制作免杀 php...

    信安之路
  • 技术人员的成长之路——这也是你的故事

    毕业于我国南部城市某985重点大学计算机系的“80后”青年李元芳,通过参加广州南方人才市场春季大型招聘会,从众多的应聘者中脱颖而出,被当时在广州乃至全国都小有名...

    博文视点Broadview
  • 项目阶段汇报用不用写?该怎么写?这里有个模板大家都说好,送给您

    项目汇报是工作成果的最好展现方式,没有之一。 即能展示员工在项目中的辛苦付出,又能让老板用最快捷省时的方式了解项目的进度和可能潜在问题,及时发现并解决。

    运维部落
  • R语言可视化——多边形与数据地图填充

    ggplot函数中有一类特殊的图表类型叫做多边形,很难用传统的视角来定义它属于哪一类图表,因为它能够呈现信息多种多样。 特别是在做某些比较高阶的图表——地图时,...

    数据小磨坊
  • Android Jetpack系列——细说DataBinding

    DataBinding 是谷歌最早在2015年官方发布的一个框架,顾名思义即为数据绑定。而推出 DataBinding 的目的就是为了减少繁琐的代码,使代码更加...

    Demo_Yang

扫码关注云+社区

领取腾讯云代金券