概率(probability)是从随机试验中的事件到实数域的映射函数,用以表示事件发生的可能性 数学定义:概率是从随机实验中的事件到实数域的函数,用以表示事件发生的可能性 如果用P(A)作为事件A的概率,Ω是试验的样本空间,则概率函数必须满足如下三条公理: 公理1(非负性) P(A)≥0(概率不可能为负的) 公理2(规范性) P(Ω)=1(所有概率加起来必须要等于1,也就是归一性) 公理3(可列可加性) 对于可列无穷多个事件A 1 ,A 2 ,…,如果事件两两互不相容,即对于任意的i和j(i≠j),事件A i 和A j 不相交(A i ∩A j =∅),则有:
概率是一个很抽象的概念,要想算一个时间发生的可能性,只能从有限的空间中去得到,这个有限的空间我们就使用最大似然估计得方法来算某个样本空间中的某个时间出现(经过若干次实验)的次数(或叫相对频率)
如果进行n次实验(n趋向于无穷大),我们把某个时间发生的相对频率叫默认为时间的发生概率,用这样的方法来计算概率。
P(X|Y)=\frac{P(X|Y)}{P(X)}
P(X,Y)=P(X|Y)P(Y)=P(Y|X)P(X) 其中P(Y)叫做先验概率,P(Y|X)叫做后验概率,P|(X,Y)叫做联合概率
香农(Claude Elwood Shannon)于1940年获得麻省理工学院数学博士学位和电子工程硕士学位后,于1941年加入了贝尔实验室数学部,并在那里工作了15年。1948年6月和10月,由贝尔实验室出版的《贝尔系统技术》杂志连载了香农博士的文章《通讯的数学原理》,该文奠定了香农信息论的基础
相对熵又称Kullback-Leibler差异,或简称KL距离,是衡量相同事件空间里两个概率分布相对差距的测度,当两个随机分布完全相同时,相对熵为0。当两个随机分布的差别增加时,其相对熵期望值也增大
https://www.jianshu.com/p/514e871cf230 http://zhuanlan.51cto.com/art/201708/547328.htm http://blog.csdn.net/u011240016/article/details/52730807