对于文本分类，基于BoW或基于单词嵌入的模型会比语言模型更好吗？
对于文本分类，基于BoW或基于单词嵌入的模型会比语言模型更好吗？
提问于 2021-09-14 18:47:58
我做了一些研究，就客观上衡量质量而言，这是最好的，但我想从理论的角度来问，对于文本分类问题，基于弓的模型(例如使用TF-国防军)或基于单词嵌入的模型(例如Word2Vec)是否会比语言模型(例如BERT)更好的选择？
我正在研究的具体问题是对短的2-8字片段进行二进制分类，如“安瓿中的气泡”，分为“需要响应”或“不需要响应”，但我更感兴趣的是上面的一般性问题。
回答 1
Data Science用户
发布于 2021-09-22 10:21:46
不幸的是，对于复杂神经网络的作用，理论知识很少。变压器是众所周知的通用近似。，因此在理论上，他们可以学习使用输入句子执行任何函数，而不是您提到的其他选项。大多数情况下，BERT样模型的精度会严格地提高。
然而，在实践中，一切都取决于您拥有的数据。神经语言模型有很多参数，这使得它们往往容易过度拟合，难以训练。一些分类问题可能也很容易，一个更强大的模型也不会有帮助。此外，还有计算效率的问题，使用更复杂的模型，精度增益可能不值得慢下来。BoW模型也可能提供更好的可解释性。
总之，可能有许多情况和许多原因，为什么较小和更简单的模型可能是一个更好的选择。
页面原文内容由Data Science提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://datascience.stackexchange.com/questions/102084
复制相关文章
相似问题
腾讯云开发者
