概率潜在语义分析（Probabilistic Latent Semantic Analysis，PLSA）

概率潜在语义分析（probabilistic latent semantic analysis，PLSA），也称概率潜在语义索引（probabilistic latent semantic indexing，PLSI）

• 利用概率生成模型对文本集合进行话题分析的无监督学习方法
• 最大特点：用隐变量表示话题
• 整个模型表示 文本生成话题，话题生成单词，从而得到单词-文本共现数据的过程
• 假设每个文本由一个话题分布决定，每个话题由一个单词分布决定

1. 概率潜在语义分析模型

概率潜在语义分析 模型有生成模型，以及等价的共现模型

1.1 基本想法

• 给定文本集合，每个文本讨论若干个话题，每个话题由若干个单词表示
• 对文本集合进行概率潜在语义分析，就能够发现每个文本的话题，以及每个话题的单词
• 话题是不能从数据中直接观察到的，是潜在的

1.2 生成模型

​

1.3 共现模型

文本数据基于如下的概率模型产生（共现模型）：

• 首先有话题 z 的概率分布
• 然后有话题 z 给定条件下 文本 的条件概率分布
• 以及话题 z 给定条件下 单词 的条件概率分布

1.4 模型性质

概率潜在语义分析通过话题对数据进行了更简洁地表示，减少了学习过程中过拟合的可能性

2. 概率潜在语义分析的算法

概率潜在语义分析模型是含有隐变量的模型，其学习通常使用 EM算法。

模型参数估计的EM算法：