估计:
设总体Z=(X,Y)~N(u,M),其中:
现在有如下的观测数据:
显然这个数据是缺失的,如果数据完整的话,那么这个参数估计起来很简单,用极大似然估计就OK,但是这样的数据不完整的情况下,用极大似然估计求参数是非常困难的...的未知参数u1求导进行极大似然估计,想当是对在完全数据下的u1求极大似然估计,即:
这里的M1表示在完全数据下的均值,u2的估计值求法与此相似....X={x1,x2,,,,,xN},由上边的式子的到,高斯分布混合分布的对数似然函数可以写成:
我们现在进行简化:
把上式中的累加求和去掉,,如果直接对对数似然函数求导来寻求极值是不可行的。...则当y(i)=k时,表示第i个样本观测值x(i)是由高斯混合分布的第k个分支产生的。因此,引入变量y后,对数似然函数可以改写成为:
改写似然函数之后,我们就可以考虑用EM算法来对模型进行参数估计。...在算法的E步中,需要求完全数据的对数似然函数的期望。