浅谈熵与贝叶斯

熵概述

entropy,用来描述概率分布的混乱程度,描述包含的信息量。 一般认为,越混乱的系统包含的信息量越大,反之确定的概率为1的系统不包含任何信息量。

以猜数字举例,猜1到100的一个数字,采用二分法的话需要log_2(100)次,从这个角度理解,是所有信息进行二进制编码需要的位数。

更一般的,对于一个概率分布X∼P(xi=pi)X \sim P(x_i = p_i),其熵为:

熵有以下特点:

  1. P=1P=1的系统熵最小,为00。
  2. 均匀分布的系统熵最大,为H=log2(n)H = log_2(n ),反之系统越偏斜熵越小。
  3. 对于自然界中的一个系统,熵只会增加不会减少,并且过程不可逆。

关于熵的公式有以下几个:

其中,H(X,Y)H(X,Y) 可以理解成X,YX,Y的联合概率分布的熵,I(X,Y) 可以理解成增加YY的information gain以及mutual entropy

贝叶斯概述

熵与贝叶斯

熵和贝叶斯都有一个大前提——知道概率分布。但是两者侧重不一样:

  • 贝叶斯侧重于计算出新的概率分布,根据新的知识提取信息。
  • 熵侧重于keep score,量化提取信息的程度。

例子

Monty Hall

三门问题(Monty Hall problem)亦称为蒙提霍尔问题、蒙特霍问题或蒙提霍尔悖论,大致出自美国的电视游戏节目Let’s Make a Deal。问题名字来自该节目的主持人蒙提·霍尔(Monty Hall)。参赛者会看见三扇关闭了的门,其中一扇的后面有一辆汽车,选中后面有车的那扇门可赢得该汽车,另外两扇门后面则各藏有一只山羊。当参赛者选定了一扇门,但未去开启它的时候,节目主持人开启剩下两扇门的其中一扇,露出其中一只山羊。主持人其后会问参赛者要不要换另一扇仍然关上的门。问题是:换另一扇门会否增加参赛者赢得汽车的机会率?如果严格按照上述的条件,即主持人清楚地知道,哪扇门后是羊,那么答案是会。换门的话,赢得汽车的机率是2/3。

这道题的关键是,主持人的操作,改变了原来的概率分布!

从概率的观点来看,坚持观点获胜的概率是0.330.33,改变观点获胜的概率是0.670.67。

从熵的观点来看,主持人提供信息之前的熵是

主持人提供信息之后的熵是

所以主持人的information gain

占原来的熵比例是

也就是说,主持人将结果的不确定性减少了41.8%。

另一个的Monty Hall

现在将原问题稍作修改,有5个门,主持人打开没有奖的两个门。

从概率的观点来看,不改变观点获胜的概率是1/51/5,改变观点获胜的概率是2/52/5,失败的概率是2/52/5。

从熵的角度上看,原来的熵是2.322.32,主持人操作后熵是1.521.52,熵减了0.80.8,减少了34.5%34.5\%。

投掷硬币

小明喜欢和大家玩投掷硬币的游戏,30%30\%的时间他用均匀的硬币,70%70\%的时间他用不均匀的硬币。均匀硬币正反的概率都是0.50.5,不均与的硬币正反的概率分别是0.4,0.60.4,0.6。

现在投掷的第一枚是正面,那么会造成:

Null

Fair

Un-Fair

Entropy

实验前

0.3

0.7

0.8813

实验后

0.35

0.65

0.9341

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI2ML人工智能to机器学习

走近中神通Fenchel

首先听闻唯一的女性菲尔兹奖得主, 玛利亚姆·米尔扎哈尼Maryam Mirzakhani, 去世了,有点伤心。 因为一般数学家, 除了意外, 都还活的比较久。...

463
来自专栏智能算法

由你定义吃鸡风格!CycleGAN,你的自定义风格转换大师

如果你是一名玩家,你一定听说过现在两场疯狂流行的大战「大逃杀」,堡垒之夜和绝地求生。他们是两个非常相似的游戏,其中有 100 个玩家在一个小岛上出没,直到剩下一...

1213
来自专栏Vamei实验室

线性代数01 线性的大脑

作者:Vamei 出处:http://www.cnblogs.com/vamei 严禁任何形式转载。

1163
来自专栏新智元

【ACL2016 终极盘点】终身成就奖得主:我还没玩深度学习

【新智元导读】在德国柏林召开的计算机语言顶级会议ACL2016将于当地时间明天(8月12日)闭幕。今天,大会公布了最佳论文,一篇关于词态学的论文获此殊荣。此外,...

3347
来自专栏大数据挖掘DT机器学习

【趣味】数据挖掘(6)——借水浒传故事,释决策树思路

决策树 (又称判定树,Decision Tree)是硕、博士生数据挖掘课程要点和难点,教学实践表明,这一章需要数学基础知识多,难得有趣。明知是难点,偏向难...

3315
来自专栏AI研习社

由你定义吃鸡风格!CycleGAN,你的自定义风格转换大师

如果你是一名玩家,你一定听说过现在两场疯狂流行的大战「大逃杀」,堡垒之夜和绝地求生。他们是两个非常相似的游戏,其中有 100 个玩家在一个小岛上出没,直到剩下一...

771
来自专栏CSDN技术头条

【问底】严澜:数据挖掘入门——分词

谷歌4亿英镑收购人工智能公司DeepMind,百度目前正推进“百度大脑”项目,腾讯、阿里等各大巨头也在积极布局深度学习。随着社会化数据大量产生,硬件速度上升、成...

1869
来自专栏AI研习社

最知名的5个机器学习框架,知道一个说明你入门了

AI 研习社消息:业内知名数据科学网站 KDnuggests,昨日评选出了四月份“你不可忽视的五个机器学习项目”。 你可能没听过它们,但今天或许会考虑上手。至于...

4269
来自专栏机器学习算法与Python学习

由你定义吃鸡风格!CycleGAN,你的自定义风格转换大师

如果你是一名玩家,你一定听说过现在两场疯狂流行的大战「大逃杀」,堡垒之夜和绝地求生。他们是两个非常相似的游戏,其中有 100 个玩家在一个小岛上出没,直到剩下一...

570
来自专栏专知

在《绝地求生》中玩《堡垒之夜》! 深度学习帮你转换画风

【导读】网游《绝地求生》前段时间大火,朋友圈,群聊常被“吃鸡”的消息刷屏。而另一个“大逃杀”游戏《堡垒之夜》也十分火爆,甚至玩法十分新颖,推出了”建造系统“,允...

953

扫码关注云+社区