文章/答案/技术大牛

发布

问spaCy BERT字典
EN

Stack Overflow用户

提问于 2020-03-12 23:08:59

回答 1查看 160关注 0票数 0

我正在尝试访问spaCy BERT字典，但从模型中收到奇怪的输出。例如，对于en_core_web_lg模型，我可以提取大约130万个这样的标记

nlp = spacy.load("en_core_web_lg") 
tokens = [t for t in nlp.vocab]

当我对en_trf_bertbaseuncased_lg模型执行同样的操作时，我只得到了478个令牌，

nlp = spacy.load("en_trf_bertbaseuncased_lg") 
tokens = [t for t in nlp.vocab]

而根据BERT paper的说法，应该有大约30K个令牌。是否有方法可以通过nlp.vocab或custom component attributes访问它们

发布于 2020-03-13 00:58:21

对于"en“这样的标准模型，我也遇到了类似的问题。有趣的是，长度是完全相同的。

import spacy
nlp = spacy.load("en")
len([t for t in nlp.vocab])
478

事实证明，像"en“这样的模型并不包含实向量(参见https://github.com/explosion/spaCy/issues/1520 )。所以我猜伯特也是这样的。

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/60656880

复制

相似问题

问spaCy BERT字典EN