问哪种类型的模型具有更好的泛化性、生成性或区分性？

EN

我的答案不限于NLP，我认为NLP在这方面与其他类型的学习没有什么不同。

论区分性量词与生成量词--安德鲁·吴，迈克尔·乔丹提供了一个有趣的技术外观。

现在有一种更非正式的意见：

判别分类器直接攻击学习问题。最后，构建用于预测的分类器，这意味着您构建了对p(y|x)的估计。生成模型通过Bayes定理得到相同的估计，但由此得到了联合概率和条件的估计。

直观地说，生成分类器需要更多的数据，因为建模的空间通常大于判别模型的空间。更多的参数意味着需要更多的数据。有时，不仅参数，甚至联合分布的形式更难被建模，而不是一个条件。

但是，如果你有足够的数据，也可以预期一个生成模型会给出一个更稳健的模型。这些都是直觉。Vapnik曾经问过，为什么要联合分配，而我们必须解决的是条件？如果你只对预测感兴趣，他似乎是对的。

笔者认为，影响条件模型生成的因素很多，包括形式主义的复杂性、输入数据的复杂性、结果超越预测的灵活性以及模型本身。如果判别式模型作为可用数据的函数有优势，这可能是一个小的差距。