前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >nlp词性标注的作用

nlp词性标注的作用

作者头像
py3study
发布2020-01-19 12:46:12
1.5K0
发布2020-01-19 12:46:12
举报
文章被收录于专栏:python3

词性标注 – 除了语法关系,句中单词的位置(词性)标记也蕴含着信息,词的位置定义了它的用途和功能。宾夕法尼亚大学提供了一个完整的位置标记列表。下方代码则使用了NLTK库来对输入的文本进行词性标注。

代码语言:javascript
复制
from nltk import word_tokenize, pos_tag
text = "I am learning Natural Language Processing on Analytics Vidhya"
tokens = word_tokenize(text)
print pos_tag(tokens)
>>> [('I', 'PRP'), ('am', 'VBP'), ('learning', 'VBG'), ('Natural', 
'NNP'),('Language', 'NNP'),('Processing', 'NNP'), ('on', 'IN'), 
('Analytics', 'NNP'),('Vidhya', 'NNP')]

在NLP中,词性标注有个很多重要用途:

A.消除歧义: 一些词的不同用法代表不同的意思. 如下列两句:

I. “Please book my flight for Delhi”

II. “I am going to read this book in the flight”

“Book” 在这里代表不同的意义, 好在它在两句的位置也不同. 第一句“book”是的动词, 第二句中它是个名词。 (Lesk Algorithm也被用于类似目的)

B.强化基于单词的特征: 一个机器学习模型可以从一个词的很多方面提取信息,但如果一个词已经标注了词性,那么它作为特征就能提供更精准的信息。 例如:

句子 -“book my flight, I will read this book”

单词 – (“book”, 2), (“my”, 1), (“flight”, 1), (“I”, 1), (“will”, 1), (“read”, 1), (“this”, 1)

带标注的单词 – (“book_VB”, 1), (“my_PRP$”, 1), (“flight_NN”, 1), (“I_PRP”, 1), (“will_MD”, 1), (“read_VB”, 1), (“this_DT”, 1), (“book_NN”, 1)

译者注:如果不带词性标注,两个“book”就被认为是同义词,词频为2。这会在后续分析中引入误差。

C.标准化与词形还原: 位置标注是词形还原的基础步骤之一,可以帮助把单词还原为基本形式.

D.有效移除停用词 : 利用位置标记可以有效地去除停用词。

代码语言:javascript
复制
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2019/03/03 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 在NLP中,词性标注有个很多重要用途:
  • 译者注:如果不带词性标注,两个“book”就被认为是同义词,词频为2。这会在后续分析中引入误差。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档