文本主题模型之LDA(二) LDA求解之Gibbs采样算法
文本主题模型之LDA(二) LDA求解之Gibbs采样算法
文本主题模型之LDA(二) LDA求解之Gibbs采样算法
本文是LDA主题模型的第二篇，读这一篇之前建议先读文本主题模型之LDA(一) LDA基础，同时由于使用了基于MCMC的Gibbs采样算法，如果你对MCMC和Gibbs采样不熟悉，建议阅读之前写的MCMC系列MCMC(四)Gibbs采样。
1. Gibbs采样算法求解LDA的思路
首先，回顾LDA的模型图如下：
在Gibbs采样算法求解LDA的方法中，我们的α,η是已知的先验输入,我们的目标是得到各个zdn,wkn对应的整体z⃗ ,w⃗ 的概率分布，即文档主题的分布和主题词的分布。由于我们是采用Gibbs采样法，则对于要求的目标分布，我们需要得到对应分布各个特征维度的条件概率分布。 具体到我们的问题，我们的所有文档联合起来形成的词向量w⃗ 是已知的数据，不知道的是语料库主题z⃗ 的分布。假如我们可以先求出w,z的联合分布p(w⃗ ,z⃗ )，进而可以求出某一个词wi对应主题特征zi的条件概率分布p(zi=k|w⃗ ,z⃗ ¬i)。其中，z⃗ ¬i代表去掉下标为i的词后的主题分布。有了条件概率分布p(zi=k|w⃗ ,z⃗ ¬i)，我们就可以进行Gibbs采样，最终在Gibbs采样收敛后得到第i个词的主题。 如果我们通过采样得到了所有词的主题,那么通过统计所有词的主题计数，就可以得到各个主题的词分布。接着统计各个文档对应词的主题计数，就可以得到各个文档的主题分布。 以上就是Gibbs采样算法求解LDA的思路。
2. 主题和词的联合分布与条件分布的求解
3. LDA Gibbs采样算法流程总结
现在我们总结下LDA Gibbs采样算法流程。首先是训练流程：
1） 选择合适的主题数$K$, 选择合适的超参数向量$\vec \alpha,\vec \eta$
2） 对应语料库中每一篇文档的每一个词，随机的赋予一个主题编号$z$
3) 重新扫描语料库，对于每一个词，利用Gibbs采样公式更新它的topic编号，并更新语料库中该词的编号。
4） 重复第2步的基于坐标轴轮换的Gibbs采样，直到Gibbs采样收敛。
5） 统计语料库中的各个文档各个词的主题，得到文档主题分布$\theta_d$，统计语料库中各个主题词的分布，得到LDA的主题与词的分布$\beta_k$。
下面我们再来看看当新文档出现时，如何统计该文档的主题。此时我们的模型已定，也就是LDA的各个主题的词分布$\beta_k$已经确定，我们需要得到的是该文档的主题分布。因此在Gibbs采样时，我们的$E_{Dirichlet(\beta_k)}(\beta_{kt})$已经固定，只需要对前半部分$E_{Dirichlet(\theta_d)}(\theta_{dk})$进行采样计算即可。
现在我们总结下LDA Gibbs采样算法的预测流程：
1） 对应当前文档的每一个词，随机的赋予一个主题编号$z$
2) 重新扫描当前文档，对于每一个词，利用Gibbs采样公式更新它的topic编号。
3） 重复第2步的基于坐标轴轮换的Gibbs采样，直到Gibbs采样收敛。
4） 统计文档中各个词的主题，得到该文档主题分布。
4. LDA Gibbs采样算法小结
使用Gibbs采样算法训练LDA模型，我们需要先确定三个超参数K,α⃗ ,η。其中选择一个合适的$K$尤其关键,这个值一般和我们解决问题的目的有关。如果只是简单的语义区分，则较小的$K$即可，如果是复杂的语义区分，则$K$需要较大，而且还需要足够的语料。
由于Gibbs采样可以很容易的并行化，因此也可以很方便的使用大数据平台来分布式的训练海量文档的LDA模型。以上就是LDA Gibbs采样算法。
后面我们会介绍用变分推断EM算法来求解LDA主题模型，这个方法是scikit-learn和spark MLlib都使用的LDA求解方法。
（欢迎转载，转载请注明出处。欢迎沟通交流： liujianping-ok@163.com）