如果我们现在想要对产生数据的分布进行建模, 估计每个高斯分布的参数, 并对每个点属于哪一个高斯分布进行预测, 我们应该如何操作呢? 为了解决这个问题, 我们需要引进一些额外的变量.
?...三个高斯分布采样得到的数据集
为了能清晰地描述数据集D的生成过程, 我们引入一个随机变量Z来进行辅助, 这个随机变量Z服从概率分布Q, 其取值为k∈{1,...K}, 但分布Q的具体参数我们并不知晓,...求解(6)这个最优化问题相对比较困难, 原因有两个: 一NLL函数中, 对数函数的自变量带有连加操作; 二带有约束. 那么我们该如何对(5)进行参数估计呢? 答案便是EM算法 ....对于隐变量所服从的分布Z~Q的参数αk,k=1,...K, 因为需要满足
?
, 由(22)使用拉格朗日乘子法并去掉与所求变量无关的项, 得到拉格朗日函数
?...对(25)进行偏导数求解并令其为0, 可得
?
由(23)(24)(26)我们可得下界函数
?
的最优解为
?