专栏首页AIUAI机器学习 - 交叉熵Cross Entropy

机器学习 - 交叉熵Cross Entropy

机器学习 - 交叉熵Cross Entropy

1. 二值交叉熵 Binary Cross Entropy

二值交叉熵函数可用于二值分类任务中的损失函数. CNN 中, 输出层可以采用 sigmoid 作为激活函数, 并将 sigmoid 输出结果, 送入二值交叉熵损失函数.

2. 交叉熵 Cross Entropy

交叉熵函数可用于多分类multi-classification任务中的损失函数. CNN 中, 输出层可以采用 softmax 来输出每一类的概率值, 再将 softmax 输出结果, 送入交叉熵损失函数. Categorical CrossEntropy 多分类的对数损失函数

3. 信息论 & 熵 & 交叉熵

信息论中, 信号所包含的信息量多少, 可理解为:

  • 如果发生可能性很高的事情发生了, 则包含的信息量较少, 价值不大;
  • 如果发生的可能性很低的事情发生了, 则包含的信息量较多, 价值更大.

自信息定义为:

[1] - Caffe Loss 层 - SigmoidCrossEntropyLoss 推导与Python实现

[2] - Caffe Loss层 - SigmoidCrossEntropyLossLayer

[3] - Caffe源码 - SoftmaxWithLossLayer

[4] - Caffe Loss 层 - LossLayers

[5] -Caffe Loss层 - HingelossLayer

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Tensorflow - Cross Entropy Loss

    根据应用场景中,分类目标的独立性与互斥性, 可以选择 sigmoid 或者 softmax 来实现.

    AIHGF
  • Caffe - 训练日志 log 可视化分析

    在采用 shell 脚本进行 caffe 训练时,可以输出训练过程到log 文件,如

    AIHGF
  • Github 项目 - YOLOV3 的 TensorFlow 复现

    原文:Github 项目 - YOLOV3 的 TensorFlow 复现 - AIUAI

    AIHGF
  • 每个程序员都应该收藏的算法复杂度速查表

    算法复杂度这件事 这篇文章覆盖了计算机科学里面常见算法的时间和空间的大 O(Big-O)复杂度。我之前在参加面试前,经常需要花费很多时间从互联网上查找各种搜索和...

    用户1667431
  • 生产环境日志清理脚本

    生产上有40多个微服务部署的应用,每个应用都会产生日志,随着时间的增长,日志量不断增大,现需要清理。有两个重要的应用日志需保留90天,其它应用保留20天。

    loong576
  • 每个程序员都应该收藏的算法复杂度速查表

    这篇文章覆盖了计算机科学里面常见算法的时间和空间的大 O(Big-O)复杂度。我之前在参加面试前,经常需要花费很多时间从互联网上查找各种搜索和排序算法的优劣,以...

    哲洛不闹
  • shell脚本快速入门之-----函数

    函数可以让我们将一个复杂功能划分成若干模块,让程序结构更加清晰,代码重复利用率更高。像其他编程语言一样,shell也支持函数。shell函数必须先定义后使用

    不吃小白菜
  • 【CentOS_7】一行shell实现自动清理过期日志

    简单解释下,上面一行,表示,在/data/log/路径下,删除10天前的log文件。

    BH8ANK
  • Scrapy之日志文件的产生

    我们写爬虫的时候,也许会需要记录一些数据或者异常信息,通常这些数据我们会希望以日志的形式保存下来。

    钱塘小甲子
  • 储备点数学公式

    近日淘到一本不可多得的好书,开篇便是扎实数学功底。所以本篇就来推导一些算法抉择必备的数学功底,不然哪套算法好,好在哪里,也说不出个所以然来,空口无凭,公式说话!

    看、未来

扫码关注云+社区

领取腾讯云代金券