词性标注 – 除了语法关系,句中单词的位置(词性)标记也蕴含着信息,词的位置定义了它的用途和功能。宾夕法尼亚大学提供了一个完整的位置标记列表。下方代码则使用了NLTK库来对输入的文本进行词性标注。...),('Language', 'NNP'),('Processing', 'NNP'), ('on', 'IN'),
('Analytics', 'NNP'),('Vidhya', 'NNP')]
在NLP...中,词性标注有个很多重要用途:
A.消除歧义: 一些词的不同用法代表不同的意思....第一句“book”是的动词, 第二句中它是个名词。...这会在后续分析中引入误差。
C.标准化与词形还原: 位置标注是词形还原的基础步骤之一,可以帮助把单词还原为基本形式.
D.有效移除停用词 : 利用位置标记可以有效地去除停用词。