问我们能否只使用BERT进行词嵌入，然后使用SVM/RNN进行意图分类？

EN

BERT是一种基于变压器的模型。经过预先培训的伯特可用于以下两个目的：

1. 微调:这涉及到，用新的数据微调到一个特定的任务，如分类或问题回答等。在这里，伯特本身就像一个分类器。
2. 提取嵌入:在这里，您可以提取预先训练过的嵌入。Word2Vec (或其他单词嵌入)和BERT之间的区别在于，BERT提供上下文嵌入，也就是说，每个单词的嵌入取决于其相邻的单词。但是，由于它是上下文嵌入，我们可以假设第一个标记'日志服务‘捕获上下文，可以作为句子嵌入作为’支持向量机‘或其他分类器的输入。但是，在RNN的情况下，您可能希望使用每个令牌的预先训练的嵌入来形成序列。

所以，你想如何使用伯特仍然是一个选择。但是如果你能微调伯特模型，它通常会产生更高的性能.但是你必须根据实验来验证它。

您当然可以使用BERT的字嵌入支持向量机/RNN。从本质上讲，这就是迁移学习的目的。伯特的MLM方法使它成为最可靠的词嵌入选择之一。