信息熵(entropy)

information entropy

信息熵用来描述信息的不确定性,如果不确定性越高,那么信息熵越大,否则则越低。

自信息(信息量)

I(X)称为自信息,I(x)=-logP(x)。通过公式可以看出,P(x)越大,自信息就越小。当然,如果一件事情发生的概率为1,那么他的自信息就是0.

信息熵

假设X的分布为P(X),那么其信息熵为:

联合熵

假设X,Y的联合分布为P(X,Y),那么其信息熵为:

条件熵

在信息论中,条件熵描述了在已知第二个随机变量XX的值的前提下,随机变量YY的信息熵还有多少。 如果H(Y|X=x)表示已知X=x的情况下,YY的信息熵,那么我们有:

条件熵与联合熵的关系

互信息

在信息论中,两个随机变量的互信息是变量间相互依赖的量度。 一般的,连个离散随机变量X和Y的互信息可以定义为:

I(X;Y)=0当且仅当X,Y互为独立随机变量 互信息又可以表示为:

交叉熵

上面是对于两个随机变量的,下面介绍对于两个分布的。 H,Q是两个分布函数,则他们的交叉熵为:

交叉熵越小,说明这两个分布越相似

KL散度

KL散度,也称相对熵。用于度量两个概率分布之间的差异,给定两个概率分布P,Q,两者之间的KL散度为:

参考资料 https://zh.wikipedia.org/wiki/%E8%81%94%E5%90%88%E7%86%B5 https://zh.wikipedia.org/wiki/%E4%BA%92%E4%BF%A1%E6%81%AF https://zh.wikipedia.org/wiki/%E7%86%B5_(%E4%BF%A1%E6%81%AF%E8%AE%BA)

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器学习从入门到成神

机器学习之决策树(Decision Tree)及其Python代码实现

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/sinat_35512245/articl...

611
来自专栏大数据风控

评分法模型开发-WOE值计算

对入模的定量和定性指标,分别进行连续变量分段(对定量指标进行分段),以便于计算定量指标的WOE和对离散变量进行必要的降维。对连续变量的分段方法通常分为等距分段...

2446
来自专栏算法channel

机器学习高斯混合模型(后篇):GMM求解完整代码实现

《实例》阐述算法,通俗易懂,助您对算法的理解达到一个新高度。包含但不限于:经典算法,机器学习,深度学习,LeetCode 题解,Kaggle 实战。期待您的到来...

3685
来自专栏机器学习、深度学习

车辆计数--FCN-rLSTM: Deep Spatio-Temporal Neural Networks for Vehicle Counting in City Cameras

FCN-rLSTM: Deep Spatio-Temporal Neural Networks for Vehicle Counting in City Cam...

22410
来自专栏从流域到海域

How To Implement The Decision Tree Algorithm From Scratch In Python (从零开始在Python中实现决策树算法)

How To Implement The Decision Tree Algorithm From Scratch In Python 原文作者:Jason B...

2249
来自专栏Brian

熵的理解

---- 熵 熵在信息论中代表随机变量不确定度的度量。一个离散型随机变量X的熵H(X)定义为: image.png 明确定义的科学名词且与内容无关,而且不随信息...

2816
来自专栏Brian

数据挖掘

---- 概述 最近一直在学习数据挖掘和机器学习,无论是是服务端开发人员还是web开发人员,个人觉得最起码都要都一些最基本的数据挖掘和机器学习知识。废话少说,我...

2725
来自专栏从流域到海域

从零开始在Python中实现决策树算法

原文地址:https://machinelearningmastery.com/implement-decision-tree-algorithm-scratc...

2646
来自专栏机器学习算法与Python学习

机器学习(8) -- 降维

Content 10. Dimensionality Reduction   10.1 Motivation     10.1.1 Motivation on...

32810
来自专栏大数据挖掘DT机器学习

R语言中的情感分析与机器学习

利用机器学习可以很方便的做情感分析。本篇文章将介绍在R语言中如何利用机器学习方法来做情感分析。在R语言中,由Timothy P.Jurka开发的情感分析以及更...

3403

扫码关注云+社区