问未登录词和已知词的词性

EN

处理词汇表外单词的一种常见方法是将训练语料库中出现频率较低(例如，频率< 3)的所有单词替换为标记* rare *，因此标签器可以大致捕获如何标记稀有单词。然后在测试阶段，只需将标签者的词汇表中没有的每个单词都视为*稀有*。

一种更简单的方法是用大多数标记来标记每个词汇表外的单词。下面的代码使用nltk工具包将每个看不见的单词标记为'NN‘。

tagger = nltk.UnigramTagger(trainingCorpus, backoff=nltk.DefaultTagger('NN'))

TnT tagger's paper提出了一种有效的标注未登录单词的方法。

另一种使用词典处理未知单词的方法可以在this article中找到。文章指出，与TnT在保加利亚、捷克、荷兰语、英语、法语、德语、印地语、意大利语、葡萄牙语、西班牙语、瑞典语、泰语和越南语等13种语言上的标注相比，基于词典的方法获得了有希望的未登录词标注结果。您还可以在文章中找到TnT和其他两个词性以及13种语言的形态标记器的准确性结果(针对已知词和未知词)。