深度学习: 分类 目标函数 (交叉熵误差(CE) -> 焦点误差(FL))

Introduction

Note:

CE

交叉熵误差 (Cross-entropy Error,CE) :

CE(y^)=−1n∑k=1n[I{y=y′}log(pt)]CE(y^)=−1n∑k=1n[I{y=y′}log⁡(pt)]

CE(\hat{y}) = - \frac{1}{n} \sum_{k=1}^n [I \{y=y'\} \log(p_t)]

Note

  • nnn:样本数。
  • 只对 ground_truth所对应的那一个单类进行响应计算

FL

焦点误差(Focal Loss,FL),于2017年提出。

其设计如下:

FL(y^)i=(1−pt)γCE(y^)iFL(y^)i=(1−pt)γCE(y^)i

FL(\hat{y})_{i} = (1-p_t)^\gamma CE(\hat{y})_{i}

CE -> FL

FL的出现极大地缓解了CE无法克服的“类别不平衡问题”。FL整体降低了loss,但对量少类的loss削减幅度较小,因此量少类loss所占总loss的比例大大升高。


[1] Deep Learning [2] 深度学习: Softmax 函数 [3] 深度学习: 目标函数 [4] 交叉熵代价函数

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏鸿的学习笔记

八个方法干掉不平衡集

I have a binary classification problem and one class ispresent with 60:1 ratio i...

1162
来自专栏数据科学与人工智能

机器学习特征工程的7个技巧

1. 数值变量标准化 不同数据的Scale不一样,所以需要标准化。比如身高和体重。 不做标准化,有些算法会死得很惨,比如SVM、神经网络、K-means之类。标...

51610
来自专栏机器之心

资源 | 用Python和NumPy学习《深度学习》中的线性代数基础

2263
来自专栏深度学习自然语言处理

【论文笔记】中文词向量论文综述(一)

最近在做中文词向量相关工作,其中看了一些中文词向量的相关论文,在这篇文章,将把近几年的中文词向量进展及其模型结构加以简述,大概要写3-4篇综述,每篇包含2-3篇...

1032
来自专栏IT派

教程 | 预测电影偏好?如何利用自编码器实现协同过滤方法

推荐系统使用协同过滤的方法,通过收集用户的偏好信息来预测特定用户的兴趣。协同过滤技术的基本假设是,如果用户 A 对某个问题与人 B 有相同的口味或意见,那么 A...

1223
来自专栏数据结构与算法

中国剩余定理详解

引入 我国古代数学著作《孙子算经》中有一道题目,它的描述是这样的 今有物不知其数,三三数之余二;五五数之余三;七七数之余二。问物几何? 这道题用现代数学理...

35511
来自专栏机器之心

学界 | 详解指针生成网络:自动生成长段文本的抽象摘要

作者:Abigail See 机器之心编译 参与:Nurhachu Null 这篇博文是斯坦福大学计算机科学在读博士 Abigail See 对最近自己和其他研...

7406
来自专栏专知

【干货】Python机器学习项目实战1(附代码)

3.8K3
来自专栏计算机视觉战队

结合人类视觉注意力进行图像分类

注:昨天推送发现内容有一个严重错误,所以临时删除了文章的链接,希望关注的您能够谅解,我们也是希望推送最完整最准确的内容,谢谢您的支持与关注,谢谢! 好久没有和大...

7986
来自专栏ATYUN订阅号

Python机器学习的练习二:多元线性回归

在第1部分中,我们用线性回归来预测新的食品交易的利润,它基于城市的人口数量。对于第2部分,我们有了一个新任务——预测房子的售价。这次的不同之处在于我们有多个因变...

4916

扫码关注云+社区

领取腾讯云代金券