:
EM算法在多元正态分布缺失的数据下一般都是有较为广泛的应用,所以在这样典型的应用情境下,我将主要研究EM算法在二元正态分布下的应用.
1:二元正态分布的介绍:
设二维的随机变量(X,Y)的概率密度为...t:
即可以得到:
同理:
哼,证明证明出来了
性质2:正态分布的条件分布仍是正态分布
二元正态分布(X,Y) ~N(u,M),其中:
求证:
证明过程如下:
2:对于二元正态分布均值的MCEM...的未知参数u1求导进行极大似然估计,想当是对在完全数据下的u1求极大似然估计,即:
这里的M1表示在完全数据下的均值,u2的估计值求法与此相似....则当y(i)=k时,表示第i个样本观测值x(i)是由高斯混合分布的第k个分支产生的。因此,引入变量y后,对数似然函数可以改写成为:
改写似然函数之后,我们就可以考虑用EM算法来对模型进行参数估计。...,才能更好的拟合样本,这是一个有待考虑的问题 .最后还有EM算法在其他模型中的应用,在其他方向的应用,如不止可以用来进行参数估计,还
可以进行假设检验等。