判别模型和生成模型

特点

在有限样本条件下建立判别函数，寻找不同数据间的最优分类面，目标是实现分类

首先建立样本的联合概率分布，再利用模型进行推理预测。要求已知样本无穷或尽可能的大

区别

估计条件概率分布P(y\x)

估计联合概率分布P(x,y)

联系

生成模型可得到判别模型

判别模型得不到生成模型

常见模型

ME、CRF、LR、SVM、Boosting、线性回归、NN

NB、HMM、Gaussian mixture model、AODE、Latent Dirichlet allocation、Restricted Boltzmann Machine

优势

1.面向分类边界的训练、比使用纯方法高级。2.能够清晰地分辨类别之间的差异特征。3.可用于多类对的学习和识别。4.简单、容易学习。

1.面向整体数据的分布。2.能够反映同类数据本身的相似度。3.模型可以通过增量学习得到。4.可用于数据不完整的情况

劣势

1.不能反映训练数据本身的特性，只能用于类别识别。2.在训练时需要考虑所有的数据元组，当数据量很大时，该方法的效率并不高 3.缺乏灵活的建模工具和插入先验知识的方法。黑盒操作：变量间的关系不可视

1.生成模型分类器需要产生的所有变量的联合概率，资源使用量大。2.分类性能不高，类别识别精度有限。3.学习和计算过程复杂。

性能

较高

较低

NLP应用

所有的序列标注和结构化学习

文本分类、词性标注等