专栏首页深度学习自然语言处理【一分钟知识】七种损失函数

【一分钟知识】七种损失函数

点击上方,选择星标置顶,每天给你送干货

阅读大概需要1分钟 跟随小博主,每天进步一丢丢

主要内容:

0-1, Hinge, Logistic, Cross Entropy, Square, Absolute, Huber

简述:

损失函数刻画了模型与训练样本的匹配程度。

分类损失

分类Loss.png

1. 对于二分类问题,Y={1,-1},我们希望

0-1损失:

最自然的损失函数是0-1损失,表示的是,当且仅当预测不正确的时候取值为1,否则取值为0。该损失函数能够直观的刻画分类的错误率,但是由于其非凸、非光滑的特点,使得算法很难直接对该函数进行优化。

Hinge损失:

Hinge损失函数是0-1损失函数相对紧的凸上界,且当

时候,该函数不对其做任何处罚。由于Hinge损失在f.y=1处不可导,因此不能使用梯度下降算法优化,而是使用次梯度下降法。

Logistic损失函数:

Logistic损失函数也是0-1损失函数的凸上界,且该函数处处光滑,因此可以使用梯度下降法进行优化。但是,该函数对所有样本点都做惩罚,因此对异常点更为敏感。

Cross Entropy:

交叉熵损失函数是常用的二分类损失函数。交叉熵损失函数也是0-1损失的光滑凸上界。

回归损失

回归Loss.png

1.对于回归问题,我们期望

Square损失:

平方损失函数是光滑函数,能够使用梯度下降法优化。然而当预测值距离真实值越远时,平方损失函数的惩罚力度越大,因此对异常点比较敏感。

Absolute损失:

绝对损失函数相当于在做中值回归,相比做均值回归的平方损失函数,绝对损失函数对异常点更鲁棒。但是,绝对损失函数在f=y处无法求导。

Huber损失:

Huber损失函数在|f-y|较小时为平方损失,在|f-y|较大的时采用线性损失,处处可导,且对异常点鲁棒。

写作不易,还望给个在看!

推荐阅读:

一大批历史精彩文章啦

【一分钟论文】 NAACL2019-使用感知句法词表示的句法增强神经机器翻译

【一分钟论文】轻松解读Semi-supervised Sequence Learning半监督序列学习

详解Transition-based Dependency parser基于转移的依存句法解析器

干货 | 找工作的经验总结(一)

经验 | 初入NLP领域的一些小建议

学术 | 如何写一篇合格的NLP论文

干货 | 那些高产的学者都是怎样工作的?

是时候研读一波导师的论文--一个简单有效的联合模型

近年来NLP在法律领域的相关研究工作

本文分享自微信公众号 - 深度学习自然语言处理(zenRRan)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-07-04

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 敏捷AI | NLP技术在宜信业务中的实践【背景篇】

    宜信公司于2006年成立于北京,经过12年的发展,目前围绕着普惠和财富两大业务板块,陆续推出了许多相关产品,如宜人贷、宜人财富、致诚信用、博城保险等等。

    宜信技术学院
  • 想在PyTorch里训练BERT,请试试Facebook跨语言模型XLM

    今年2月,Facebook发表了论文《Cross-lingual Language Model Pretraining》,这篇论文提出了基于BERT优化的跨语言...

    量子位
  • 20项任务横扫BERT!CMU谷歌发布XLNet,NLP再迎屠榜时刻

    去年10月,Google团队发布BERT模型横扫一切,在11种不同NLP测试中创出最佳成绩。现在,轮到BERT被碾压了。

    量子位
  • 腾讯犀牛鸟精英人才培养计划课题介绍(二)——语音技术&自然语言处理

    ? 腾讯犀牛鸟精英人才培养计划是一项面向学生的校企联合培养方案,项目覆盖机器学习、量子计算、计算机视觉、语音技术、自然语言处理等产学研热点方向,入选学生将到腾...

    腾讯高校合作
  • 20项任务横扫BERT!CMU谷歌发布XLNet,NLP再迎屠榜时刻

    去年10月,Google团队发布BERT模型横扫一切,在11种不同NLP测试中创出最佳成绩。现在,轮到BERT被碾压了。

    深度学习与Python
  • java分词工具hanlp介绍

    前几天(6月28日),在第23届中国国际软件博览会上,hanlp这款自然语言处理工具荣获了“2019年第二十三届中国国际软件博览会优秀产品”。

    IT小白龙
  • 虽被BERT碾压,但还是有必要谈谈BERT时代与后时代的NLP

    2018年是NLP的收获大年,模型预训练技术终于被批量成功应用于多项NLP任务。之前搞NLP的人一直羡慕搞CV的人,在ImageNet上训练好的模型,居然拿到各...

    AI科技大本营
  • 上海交大张拳石:神经网络的可解释性,从经验主义到数学建模

    本来想把题目取为“从炼丹到化学”,但是这样的题目太言过其实,远不是近期可以做到的,学术研究需要严谨。但是,寻找适当的数学工具去建模深度神经网络表达能力和训练能力...

    AI科技大本营
  • 2019斯坦福自然语言理解课程开放:视频代码PDF都有,名师上课还免费 | 资源

    新课程名为自然语言理解(Natural Language Understanding),代号CS224U,是斯坦福大学今年春季的新课程。

    深度学习与Python
  • 中文NLP的分词真有必要吗?李纪为团队四项任务评测一探究竟 | ACL 2019

    作者| Yuxian Meng、Xiaoya Li、Xiaofei Sun、Qinghong Han、Arianna Yuan、 Jiwei Li

    AI科技大本营

扫码关注云+社区

领取腾讯云代金券