开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

社区首页 >问答首页 >从我自己的语料库创建可靠的语言模型的代码

问从我自己的语料库创建可靠的语言模型的代码
EN

Stack Overflow用户

提问于 2018-10-14 23:49:24

回答 1查看 236关注 0票数 0

我有一个特定领域的句子语料库。我正在寻找一个开源的代码/包，我可以提供数据，它将生成一个良好的，可靠的语言模型。(意思是，给定上下文，知道每个单词的概率)。

有这样的代码/项目吗？

我看到了这个github代码库：https://github.com/rafaljozefowicz/lm，但它不能工作。

EN

回答 1

Stack Overflow用户

发布于 2019-05-05 16:36:32

您可以尝试PyTorch示例中的word_language_model。如果你有一个很大的语料库，可能会有一个问题。它们将所有数据加载到内存中。

票数 0

EN

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/52804418

复制

相似问题