在执行情感分析时,我如何让机器理解我指的是苹果( iphone),而不是苹果(水果)?
谢谢你的建议!
发布于 2013-02-18 03:05:40
好吧,有几种方法,
我会从检查大写字母开始,通常,当提到一个名字时,第一个字母是大写的。
在进行情感分析之前,我会使用一些词性和命名实体识别来标记相关的单词。
Stanford CoreNLP是一个很好的文本分析项目,它会教你一些基本的概念。
来自CoreNLP的示例:
您可以看到标签是如何帮助您的。
并查看more info
发布于 2020-04-13 21:06:51
正如Ofiris所描述的,NER只是解决问题的一种方法。我觉得使用单词嵌入来表示你的单词会更有效。这样机器就可以自动识别单词的上下文。例如,"Apple“大多与"eat”一起出现,但如果给定的输入"Apple“与"mobile”或该域中的任何其他单词一起出现,则Machine将理解为"iPhone apple“而不是"apple fruit”。有两种流行的方法来生成单词嵌入,例如word2vec和fasttext。Gensim为word2vec和fasttext提供了更可靠的实现。
https://radimrehurek.com/gensim/models/word2vec.html https://radimrehurek.com/gensim/models/fasttext.html
发布于 2016-12-15 23:48:25
在有日期、著名品牌、贵宾或历史人物的情况下,你可以使用NER (命名实体识别)算法;在这种情况下,根据Ofiris的建议,斯坦福CoreNLP提供了一个很好的命名实体识别器。
对于更一般的多义词(即具有多个含义的词,如"good")的消歧,您可以使用POS标记器与词义消歧(WSD)算法相结合。后者的一个例子可以在HERE中找到,但我不知道有什么可以免费下载的库来实现这一目的。
https://stackoverflow.com/questions/14924772
复制相似问题