信息熵(entropy)

information entropy

信息熵用来描述信息的不确定性,如果不确定性越高,那么信息熵越大,否则则越低。

自信息(信息量)

I(X)称为自信息,I(x)=-logP(x)。通过公式可以看出,P(x)越大,自信息就越小。当然,如果一件事情发生的概率为1,那么他的自信息就是0.

信息熵

假设X的分布为P(X),那么其信息熵为:

联合熵

假设X,Y的联合分布为P(X,Y),那么其信息熵为:

条件熵

在信息论中,条件熵描述了在已知第二个随机变量XX的值的前提下,随机变量YY的信息熵还有多少。 如果H(Y|X=x)表示已知X=x的情况下,YY的信息熵,那么我们有:

条件熵与联合熵的关系

互信息

在信息论中,两个随机变量的互信息是变量间相互依赖的量度。 一般的,连个离散随机变量X和Y的互信息可以定义为:

I(X;Y)=0当且仅当X,Y互为独立随机变量 互信息又可以表示为:

交叉熵

上面是对于两个随机变量的,下面介绍对于两个分布的。 H,Q是两个分布函数,则他们的交叉熵为:

交叉熵越小,说明这两个分布越相似

KL散度

KL散度,也称相对熵。用于度量两个概率分布之间的差异,给定两个概率分布P,Q,两者之间的KL散度为:

参考资料 https://zh.wikipedia.org/wiki/%E8%81%94%E5%90%88%E7%86%B5 https://zh.wikipedia.org/wiki/%E4%BA%92%E4%BF%A1%E6%81%AF https://zh.wikipedia.org/wiki/%E7%86%B5_(%E4%BF%A1%E6%81%AF%E8%AE%BA)

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏企鹅号快讯

AOGNet:基于深度 AND-OR 语法网络的目标识别方法

这是 PaperDaily 的第28篇文章 本期推荐的论文笔记来自 PaperWeekly 社区用户@duinodu。本文研究的问题是深度学习中的网络工程问题。...

2347
来自专栏深度学习自然语言处理

详解文本分类之多通道CNN的理论与实践

最近在梳理文本分类的各个神经网络算法,特地一个来总结下。接下来将要一个文章一个文章的讲解各个算法的理论与实践。目录暂定为:

1233
来自专栏人工智能头条

如何使用 RNN 模型实现文本自动生成 |

2291
来自专栏人工智能头条

Softmax和交叉熵的深度解析和Python实现

【导读】如果你稍微了解一点深度学习的知识或者看过深度学习的在线课程,你就一定知道最基础的多分类问题。当中,老师一定会告诉你在全连接层后面应该加上 Softmax...

781
来自专栏CreateAMind

VAE variation inference变分推理 清爽介绍

Introduction to variational autoencoders VAE第二篇 code: https://github.com/oduerr...

1152
来自专栏文武兼修ing——机器学习与IC设计

基于Pytorch的CapsNet源码详解CapsNet基本结构代码实现参考

CapsNet基本结构 参考CapsNet的论文,提出的基本结构如下所示: ? capsnet_mnist.jpg 可以看出,CapsNet的基本结构如下所示:...

3467
来自专栏大数据文摘

算法可视化:把难懂的代码画进梵高的星空

2064
来自专栏新智元

DeepMind重磅:神经算术逻辑单元,Keras实现

【新智元导读】DeepMind最新提出“神经算术逻辑单元”,旨在解决神经网络数值模拟能力不足的问题。与传统架构相比,NALU在训练期间的数值范围内和范围外都得到...

612
来自专栏深度学习自然语言处理

简单实例讲解为何深度学习有效

在之前的一些年里,深度学习已经占领了模式识别领域,之后又横扫了计算机数视觉,之后自然语言处理也慢慢的朝着这个方向开始了它的发展。

732
来自专栏机器之心

学界 | 中科大与微软提出Adversarial-NMT:将生成对抗网络用于神经机器翻译

选自arxiv 作者:Lijun Wu, Yingce Xia 等 机器之心编译 参与:吴攀 生成对抗网络(GAN)与神经机器翻译(NMT)是当前人工智能研究的...

2927

扫码关注云+社区