生成式模型与判别式模型

假设可观测到的集合为X，需要预测的变量集合为Y，其他变量集合为Z。

生成式模型是对联合概率分布

进行建模，在给定观测集合X的条件下，通过计算边缘分布来得到对变量集合Y的推断，即：

判别式模型是直接对条件概率分布

进行建模，然后消掉无关变量

就可以得到对变量集合

的预测，即：

常见的概率图模型有朴素贝叶斯、最大熵模型、贝叶斯网络、隐马尔可夫模型、条件随机场、pLSA、LDA。

• 朴素贝叶斯、贝叶斯网络、pLSA、LDA等模型都是先对联合概率分布进行建模，然后再通过边缘计算得到对变量的预测，所以它们都属于生成式模型。
• 隐马尔可夫模型（HMM）也属于生成式模型
• 条件随机场（CRF）属于判别式模型