信息熵(entropy)

information entropy

信息熵用来描述信息的不确定性,如果不确定性越高,那么信息熵越大,否则则越低。

自信息(信息量)

I(X)称为自信息,I(x)=-logP(x)。通过公式可以看出,P(x)越大,自信息就越小。当然,如果一件事情发生的概率为1,那么他的自信息就是0.

信息熵

假设X的分布为P(X),那么其信息熵为:

联合熵

假设X,Y的联合分布为P(X,Y),那么其信息熵为:

条件熵

在信息论中,条件熵描述了在已知第二个随机变量XX的值的前提下,随机变量YY的信息熵还有多少。 如果H(Y|X=x)表示已知X=x的情况下,YY的信息熵,那么我们有:

条件熵与联合熵的关系

互信息

在信息论中,两个随机变量的互信息是变量间相互依赖的量度。 一般的,连个离散随机变量X和Y的互信息可以定义为:

I(X;Y)=0当且仅当X,Y互为独立随机变量 互信息又可以表示为:

交叉熵

上面是对于两个随机变量的,下面介绍对于两个分布的。 H,Q是两个分布函数,则他们的交叉熵为:

交叉熵越小,说明这两个分布越相似

KL散度

KL散度,也称相对熵。用于度量两个概率分布之间的差异,给定两个概率分布P,Q,两者之间的KL散度为:

参考资料 https://zh.wikipedia.org/wiki/%E8%81%94%E5%90%88%E7%86%B5 https://zh.wikipedia.org/wiki/%E4%BA%92%E4%BF%A1%E6%81%AF https://zh.wikipedia.org/wiki/%E7%86%B5_(%E4%BF%A1%E6%81%AF%E8%AE%BA)

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • tensorflow学习笔记(六):LSTM 与 GRU

    [新增内容:今天写代码的时候,如果使用state_is_tuple=True, 那么

    ke1th
  • pytorch学习笔记(十五):pytorch 源码编译碰到的坑总结

    2017.11.17 最近打算学习一下 pytorch 源码,所以按照官网的教程从头编译了一下 pytorch 。在编译的过程中,碰到了两个坑,在这里记录一下。...

    ke1th
  • pytorch学习笔记(八):PytTorch可视化工具 visdom

    Visdom PyTorch可视化工具 本文翻译的时候把 略去了 Torch部分。 项目地址 ? 一个灵活的可视化工具,可用来对于 实时,富数据的 创建,组织和...

    ke1th
  • 使用Photoshop实现雪花飘落的效果

    Zoctopus
  • [js算法]手把手带你从leetcode原题——【两数相加】到大数相加

    给出两个 非空 的链表用来表示两个非负的整数。其中,它们各自的位数是按照逆序的方式存储的,并且它们的每个节点只能存储一位数字。

    lhyt
  • 该卸载PhotoShop了!MIT用AI实现3分钟自动抠图,精细到头发丝

    最近,MIT计算机科学与人工智能实验室(CSAIL)的研究人员开发了一种AI辅助的图像编辑工具,它可以自动抠图,替换任何图像的背景。

    新智元
  • 利用NVIDIA Jetson 打造AI农业机器人

    今天,让我们来认识一下Agrobot,这是一款自动收割机器人,它将彻底改变农业产业。Agrobot与全球的农民合作,通过人工智能的力量实现浆果采摘的自动化。

    GPUS Lady
  • 更新Silverlight ctp到Silverlight beta 1.0

    下面是我更新Silverlight ctp到Silverlight beta 1.0的一个纪录,希望对各位同学有帮助。 1、卸载Silverlight ctp ...

    张善友
  • 【报错总结】UltraEdit连接CentOS虚拟机配置

    版权声明:本文为博主原创文章,转载请注明出处。 https://blog.csdn.net/...

    魏晓蕾
  • Python实现固定效应回归模型实现因果关系推断

    众所周知,“相关并不意味着因果关系”。我要告诉你,相关可以表示因果关系,但需要一定条件。这些条件已在计量经济学文献中被广泛讨论。在本文中,我将以一种易于理解的方...

    deephub

扫码关注云+社区

领取腾讯云代金券