问Gibbs抽样(用于推理)与EM

EN

Gibbs抽样是一个概率框架，它假定所有要学习的参数都是随机变量。这里，假设参数的先前分布，并根据问题特有的关系找到完整的条件，例如，如果您有三个参数，\alpha,\beta,\theta，则导出p(\alpha|,\beta,\theta)、p(\beta|\alpha,\theta)和p(\theta|\alpha,\beta)。在导出完整的条件后，您可以从它们中抽取样本并执行许多迭代。这就像如果我们知道\beta和\theta，就请求D5，当我们知道\alpha和\theta等的时候，询问\beta。在足够多的迭代之后，您将收敛到一个解决方案。在GMM中，这些参数是混合比例，例如可以有Dirichlet先验，以及每个高斯分量的均值和偏差(您可以为这些参数选择合适的先验分布)。一个示例设计将包括完整的条件词p(\mu_i|\boldsymbol{\sigma},\boldsymbol{\pi})、p(\sigma_i|\boldsymbol{\mu},\boldsymbol{\sigma})和p(\boldsymbol{\pi}|\boldsymbol{\mu},\boldsymbol{\sigma})。在这里，选择你的前项是很重要的，因为当你得到这些全条件项的公式时，为了便于抽样，最好是有共同的分布，例如p(\mu_i|..)被证明是伽马分布等。如果不是，你必须为这些概率分布设计取样器，这有时会引起一些痛苦。它也是EM的迭代算法，但EM是单纯的优化过程，Gibbs抽样是贝叶斯方法。