中文情感分析 (Sentiment Analysis) 的难点在哪?

作者:容哲

假设分析的对象是iphone5s的手机评论。从京东、亚马逊或者中关村都可以找到这款手机的评论。大致都如图所示。

情感分析(Sentiment Analysis) 第一步,就是确定一个词是积极还是消极,是主观还是客观。这一步主要依靠词典。

英文已经有伟大词典资源:SentiWordNet. 无论积极消极、主观客观,还有词语的情感强度值都一并拿下。

但在中文领域,判断积极和消极已经有不少词典资源,如Hownet,NTUSD但用过这些词典就知道,效果实在是不咋滴(最近还发现了大连理工发布的情感词汇本体库,不过没用过,不好评价)。中文这方面的开源真心不够英文的做得细致有效。而中文识别主客观,那真的是不能直视。

中文领域难度在于:词典资源质量不高,不细致。另外缺乏主客观词典。 第二步,就是识别一个句子是积极还是消极,是主观还是客观。 有词典的时候,好办。直接去匹配看一个句子有什么词典里面的词,然后加总就可以计算出句子的情感分值。

但由于不同领域有不同的情感词,比如看上面的例子,“蓝屏”这个词一般不会出现在情感词典之中,但这个词明显表达了不满的情绪。因此需要另外根据具体领域构建针对性的情感词典。 如果不那么麻烦,就可以用有监督的机器学习方法。把一堆评论扔到一个算法里面训练,训练得到分类器之后就可以把评论分成积极消极、主观客观了。 分成积极和消极也好办,还是上面那个例子。5颗星的评论一般来说是积极的,1到2颗星的评论一般是消极的,这样就可以不用人工标注,直接进行训练。但主客观就不行了,一般主客观还是需要人来判断。加上中文主客观词典不给力,这就让机器学习判断主客观更为困难。 中文领域的难度:还是词典太差。还有就是用机器学习方法判断主客观非常麻烦,一般需要人工标注。 另外中文也有找到过资源,比如这个用Python编写的类库:SnowNLP. 就可以计算一句话的积极和消极情感值。但我没用过,具体效果不清楚。 到了第三步,情感挖掘就升级到意见挖掘(Opinion Mining)了。 这一步需要从评论中找出产品的属性。拿手机来说,屏幕、电池、售后等都是它的属性。到这一步就要看评论是如何评价这些属性的。比如说“屏幕不错”,这就是积极的。“电池一天都不够就用完了,坑爹啊”,这就是消极的,而且强度很大。

这就需要在情感分析的基础上,先挖掘出产品的属性,再分析对应属性的情感。 分析完每一条评论的所有属性的情感后,就可以汇总起来,形成消费者对一款产品各个部分的评价。 接下来还可以对比不同产品的评价,并且可视化出来。如图。

这一步的主要在于准确挖掘产品属性(一般用关联规则),并准确分析对应的情感倾向和情感强度。因此这需要情感分析作为基础。首先要找到评论里面的主观句子,再找主观句子里的产品属性,再计算属性对应的情感分。所以前面基础不牢固,后面要准确分析就有难度。

中文这个领域的研究其实很完善了,技术也很成熟。但需要完善前期情感分析的准确度。 总的来说,就是中文词典资源不好,工作做得不是很细很准。前期的一些基础不牢固,后面要得到准确的分析效果就不容易了。

作为句子和篇章级的应用问题,感觉中英文处理不会有本质的区别,不如好好阅读这个领域的两本经典文献,然后再考虑具体的研究问题:

1. Bing Liu的 Sentiment Analysis and Opinion Mining

http://www.morganclaypool.com/doi/abs/10.2200/s00416ed1v01y201204hlt016

2. Bo Pang的

Opinion Mining and Sentiment Analysis

http://dl.acm.org/citation.cfm?id=1454712

原文发布于微信公众号 - 大数据挖掘DT数据分析(datadw)

原文发表时间:2017-03-07

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI科技大本营的专栏

AI 每周必读:The Ones

1. One Paper Neural Models for Sequence Chunking 链接: https://arxiv.org/abs/170...

3225
来自专栏牛客网

机器学习实习面经分享(蚂蚁金服,微信,美国亚马逊,完美)

完美和微信hr面完之后就给了口头offer,蚂蚁得再等几天 阿里,4场技术面+hr面 一面: 面试官说:聊一聊你的项目/paper吧 我:blabla说一通,问...

7467
来自专栏算法+

学习图像算法阶段性总结 (附一键修图Demo) 2016.04.19更新demo

今天特别感慨,自己从决定研究图像处理,势必要做出一键修图算法。 经历了,三个多月的书籍积累,三个多月的算法调整以及优化。 人是一种奇怪的动物,当你做不到的时候,...

3045
来自专栏华章科技

机器学习进阶路上的五个境界

关于机器学习,这个话题最近实在太火了,甚至有些虚火了。有了虚火,就容易有泡沫。大浪淘沙,要想在数据科学这个行业生存下来,任何一个从业者都需要认清自己的位置,每上...

1043
来自专栏量子位

NEC新技术带来比Apach Spark快50倍的机器学习能力

陈桦 编译自 SiliconAngle 量子位 报道 | 公众号 QbitAI 日本计算机巨头NEC宣布,已经开发出一种新的数据处理技术,能加快向量计算机的机器...

3507
来自专栏机器学习之旅

写给想转行机器学习深度学习的同学

update 1:很多同学还是私信我,让我推荐或者提供一些电子书给他们,我这边也打包了一些我认为比较重要的,如果有需要的同学可以「邮箱」联系我。申明,我所发送的...

2674
来自专栏量子位

人工智能技术入门该读哪些书?StackOverflow上最推荐这些

王小新 编译整理 量子位 出品 | 公众号 QbitAI 学习人工智能相关技术该读什么书?这是量子位各个微信群中出现频率极高的问题。 今天,我们就从Dev-bo...

4134
来自专栏牛客网

数据挖掘算法工程师面经

走到现在,校招已经过了一半,自己心仪的公司也基本都走完了校招流程,我的校招随之已经结束了,在家中陪着父母过一个长假。闲下来,想远离代码,远离算法,好好的放松下自...

53610
来自专栏人工智能头条

“吴恩达deeplearningai”微信公众号上线,将发布《机器学习训练秘籍》

2234
来自专栏AI研习社

博客 | 一份中外结合的 Machine Learning 自学计划

看了Siraj Raval的3个月学习机器学习计划的视频,感觉非常好,地址:https://www.youtube.com/watch?v=Cr6VqTRO1v...

961

扫码关注云+社区

领取腾讯云代金券