Bert和SVM分类
Bert和SVM分类
提问于 2021-01-22 16:17:48
我试图理解标题中的概念，以及它们如何适应二进制分类的任务。根据我的理解，到目前为止，你可以用各种特征提取方法对文本进行编码，这样一个词包。然后，您可以使用类似lib线性的方法来获得一个支持向量机liblinear模型，该模型能够对数据进行分类。另一方面，您可以通过将Bert与稠密层连接起来来建立模型。然后您可以微调这个模型，然后再一次获得一个分类器。你会在哪里使用其中的一个，为什么？
回答 1
Data Science用户
发布于 2021-01-25 16:04:43
伯特是一种基于变压器的模型。经过预先培训的伯特可用于以下两个目的：
- 微调
- 提取嵌入
一旦您被输入到BERT体系结构中，就不需要使用支持向量机了。您的BERT模型将生成嵌入，并且可以进行微调(ala、ULMfit、最后一层)以执行特定的任务。您可能只需使用嵌入，然后使用另一个模型执行任务，但是性能可能不会更好。
所以，你想如何使用伯特仍然是一个选择。但是如果你能微调伯特模型，它通常会产生更高的性能.但是你必须根据实验来验证它。
页面原文内容由Data Science提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://datascience.stackexchange.com/questions/88348
复制相关文章
相似问题
腾讯云开发者
