信息熵(entropy)

information entropy

信息熵用来描述信息的不确定性,如果不确定性越高,那么信息熵越大,否则则越低。

自信息(信息量)

I(X)称为自信息,I(x)=-logP(x)。通过公式可以看出,P(x)越大,自信息就越小。当然,如果一件事情发生的概率为1,那么他的自信息就是0.

信息熵

假设X的分布为P(X),那么其信息熵为:

联合熵

假设X,Y的联合分布为P(X,Y),那么其信息熵为:

条件熵

在信息论中,条件熵描述了在已知第二个随机变量XX的值的前提下,随机变量YY的信息熵还有多少。 如果H(Y|X=x)表示已知X=x的情况下,YY的信息熵,那么我们有:

条件熵与联合熵的关系

互信息

在信息论中,两个随机变量的互信息是变量间相互依赖的量度。 一般的,连个离散随机变量X和Y的互信息可以定义为:

I(X;Y)=0当且仅当X,Y互为独立随机变量 互信息又可以表示为:

交叉熵

上面是对于两个随机变量的,下面介绍对于两个分布的。 H,Q是两个分布函数,则他们的交叉熵为:

交叉熵越小,说明这两个分布越相似

KL散度

KL散度,也称相对熵。用于度量两个概率分布之间的差异,给定两个概率分布P,Q,两者之间的KL散度为:

参考资料 https://zh.wikipedia.org/wiki/%E8%81%94%E5%90%88%E7%86%B5 https://zh.wikipedia.org/wiki/%E4%BA%92%E4%BF%A1%E6%81%AF https://zh.wikipedia.org/wiki/%E7%86%B5_(%E4%BF%A1%E6%81%AF%E8%AE%BA)

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏人工智能

机器学习教程:朴素贝叶斯文本分类器

在本教程中,我们将讨论朴素贝叶斯文本分类器。朴素贝叶斯是最简单的分类器之一,只涉及简单的数学表达,并且可以使用PHP,C#,JAVA等语言进行编程。

2289
来自专栏机器学习算法全栈工程师

朴素贝叶斯算法详解(1)

1. 引言   朴素贝叶斯算法(Naive Bayes)是机器学习中常见的基本算法之一,主要用来做分类任务的。它是基于贝叶斯定理与条件独立性假设的分类方法。...

3478
来自专栏AlgorithmDog的专栏

朴素贝叶斯分类器本质上是线性分类器

朴素贝叶斯分类器是一种应用贝叶斯定理的分类器。线性分类器是通过特征的线性组合来做出分类决定的分类器。本质上,朴素贝叶斯分类器是一种线性分类器。 朴...

2475
来自专栏Spark学习技巧

【干货】树算法对比:RF、GBDT、XGBoost

1163
来自专栏张俊红

Sklearn参数详解—贝叶斯

4716
来自专栏深度学习

RF(随机森林)、GBDT、XGBoost算法简介

一、概念 RF、GBDT和XGBoost都属于集成学习(Ensemble Learning),集成学习的目的是通过结合多个基学习器的预测结果来改善单个学习器的泛...

4399
来自专栏JasonhavenDai

统计学习方法之朴素贝叶斯1.概述2.基础知识3.基本方法4.参数估计5.简单实现

1.概述 朴素贝叶斯分类是贝叶斯分类器的一种,贝叶斯分类算法是统计学的一种分类方法,利用概率统计知识进行分类,其分类原理就是利用贝叶斯公式根据某对象的先验概率计...

3858
来自专栏有趣的Python和你

机器学习实战之树回归

1275
来自专栏大数据挖掘DT机器学习

RF(随机森林)、GBDT、XGBoost面试级整理

由于本文是基于面试整理,因此不会过多的关注公式和推导,如果希望详细了解算法内容,敬请期待后文。   RF、GBDT和XGBoost都属于集成学习(Ens...

6724
来自专栏杨熹的专栏

Bagging 简述

本文结构: 基本流程 有放回抽样的好处 Bagging 特点 sklearn 中 Bagging 使用 Bagging 和 Boosting 的区别 ---- ...

2764

扫码关注云+社区