Python 文本挖掘:使用情感词典进行情感分析(算法及程序设计)

情感分析就是分析一句话说得是很主观还是客观描述,分析这句话表达的是积极的情绪还是消极的情绪。

原理

比如这么一句话:“这手机的画面极好,操作也比较流畅。不过拍照真的太烂了!系统也不好。”

① 情感词

要分析一句话是积极的还是消极的,最简单最基础的方法就是找出句子里面的情感词,积极的情感词比如:赞,好,顺手,华丽等,消极情感词比如:差,烂,坏,坑爹等。出现一个积极词就+1,出现一个消极词就-1。

里面就有“好”,“流畅”两个积极情感词,“烂”一个消极情感词。那它的情感分值就是1+1-1+1=2. 很明显这个分值是不合理的,下面一步步修改它。

② 程度词

“好”,“流畅”和‘烂“前面都有一个程度修饰词。”极好“就比”较好“或者”好“的情感更强,”太烂“也比”有点烂“情感强得多。所以需要在找到情感词后往前找一下有没有程度修饰,并给不同的程度一个权值。比如”极“,”无比“,”太“就要把情感分值*4,”较“,”还算“就情感分值*2,”只算“,”仅仅“这些就*0.5了。那么这句话的情感分值就是:4*1+1*2-1*4+1=3

③ 感叹号

可以发现太烂了后面有感叹号,叹号意味着情感强烈。因此发现叹号可以为情感值+2. 那么这句话的情感分值就变成了:4*1+1*2-1*4-2+1 = 1

④ 否定词

明眼人一眼就看出最后面那个”好“并不是表示”好“,因为前面还有一个”不“字。所以在找到情感词的时候,需要往前找否定词。比如”不“,”不能“这些词。而且还要数这些否定词出现的次数,如果是单数,情感分值就*-1,但如果是偶数,那情感就没有反转,还是*1。在这句话里面,可以看出”好“前面只有一个”不“,所以”好“的情感值应该反转,*-1。

因此这句话的准确情感分值是:4*1+1*2-1*4-2+1*-1 = -1

⑤ 积极和消极分开来

再接下来,很明显就可以看出,这句话里面有褒有贬,不能用一个分值来表示它的情感倾向。而且这个权值的设置也会影响最终的情感分值,敏感度太高了。因此对这句话的最终的正确的处理,是得出这句话的一个积极分值,一个消极分值(这样消极分值也是正数,无需使用负数了)。它们同时代表了这句话的情感倾向。所以这句评论应该是”积极分值:6,消极分值:7“

⑥ 以分句的情感为基础

再仔细一步,详细一点,一条评论的情感分值是由不同的分句加起来的,因此要得到一条评论的情感分值,就要先计算出评论中每个句子的情感分值。这条例子评论有四个分句,因此其结构如下([积极分值, 消极分值]):[[4, 0], [2, 0], [0, 6], [0, 1]]

以上就是使用情感词典来进行情感分析的主要流程了,算法的设计也会按照这个思路来实现。

算法设计

第一步:读取评论数据,对评论进行分句。

第二步:查找对分句的情感词,记录积极还是消极,以及位置。

第三步:往情感词前查找程度词,找到就停止搜寻。为程度词设权值,乘以情感值。

第四步:往情感词前查找否定词,找完全部否定词,若数量为奇数,乘以-1,若为偶数,乘以1。

第五步:判断分句结尾是否有感叹号,有叹号则往前寻找情感词,有则相应的情感值+2。

第六步:计算完一条评论所有分句的情感值,用数组(list)记录起来。

第七步:计算并记录所有评论的情感值。

第八步:通过分句计算每条评论的积极情感均值,消极情感均值,积极情感方差,消极情感方差。

实战 这篇文章讲到了使用情感词典进行英文情感分析的方法和代码讲解,非常详细。

但我使用了与之有所区别的方法和数据类型(我没有使用字典,而只是用了列表。或许字典能记录下更多信息,方便更复杂 的处理,但简单的处理使用列表就足够了)。

  1. 载入几个需要用的库。pickle(读取存储的情感词典数据),numpy(计算均值方差等),自己编写的textprocessing库(包括取excel数据、取txt数据、分词、词性标注、分句、去停用词、计算文本相似度等功能)。
#! /usr/bin/env python2.7
#coding=utf-8

import pickle
import textprocessing as tp
import numpy as np

2. 载入情感词典。

posdict = pickle.load(open('D:/code/sentiment_test/sentiment_dictionary/posdict.pkl', 'r'))
negdict = pickle.load(open('D:/code/sentiment_test/sentiment_dictionary/negdict.pkl', 'r'))
mostdict = pickle.load(open('D:/code/sentiment_test/sentiment_dictionary/mostdict.pkl', 'r'))
verydict = pickle.load(open('D:/code/sentiment_test/sentiment_dictionary/verydict.pkl', 'r'))
moredict = pickle.load(open('D:/code/sentiment_test/sentiment_dictionary/moredict.pkl', 'r'))
ishdict = pickle.load(open('D:/code/sentiment_test/sentiment_dictionary/ishdict.pkl', 'r'))
insufficientdict = pickle.load(open('D:/code/sentiment_test/sentiment_dictionary/insufficentdict.pkl', 'r'))
inversedict = pickle.load(open('D:/code/sentiment_test/sentiment_dictionary/inversedict.pkl', 'r'))

3. 载入评论数据。

review = pickle.load(open('D:/code/review_set/review_pkl/Motorala.pkl', 'r'))

4. 定义判断基数偶数的函数。在判断否定词时使用。

def judgeodd(num):
    if (num/2)*2 == num:
        return 'even'
    else:
        return 'odd'

5. 情感分值计算主程序。

def sentiment_score_list(dataset):
    cuted_data = []
    for cell in dataset:
        cuted_data.append(tp.cut_sentence(cell))

    count1 = []
    count2 = []
    for sents in cuted_data: #循环遍历每一个评论
        for sent in sents:  #循环遍历评论中的每一个分句
            segtmp = tp.segmentation(sent, 'list')  #把句子进行分词,以列表的形式返回
            i = 0 #记录扫描到的词的位置
            a = 0 #记录情感词的位置
            poscount = 0 #积极词的第一次分值
            poscount2 = 0 #积极词反转后的分值
            poscount3 = 0 #积极词的最后分值(包括叹号的分值)
            negcount = 0
            negcount2 = 0
            negcount3 = 0
            for word in segtmp:
                if word in posdict: #判断词语是否是情感词
                    poscount += 1                
                    c = 0
                    for w in segtmp[a:i]:  #扫描情感词前的程度词
                        if w in mostdict:
                            poscount *= 4.0
                        elif w in verydict:
                            poscount *= 3.0
                        elif w in moredict:
                            poscount *= 2.0
                        elif w in ishdict:
                            poscount /= 2.0
                        elif w in insufficientdict:
                            poscount /= 4.0
                        elif w in inversedict:
                            c += 1
                    if judgeodd(c) == 'odd': #扫描情感词前的否定词数
                        poscount *= -1.0
                        poscount2 += poscount
                        poscount = 0
                        poscount3 = poscount + poscount2 + poscount3
                        poscount2 = 0
                    else:
                        poscount3 = poscount + poscount2 + poscount3
                        poscount = 0
                    a = i + 1 #情感词的位置变化
                elif word in negdict: #消极情感的分析,与上面一致
                    negcount += 1
                    d = 0
                    for w in segtmp[a:i]:
                        if w in mostdict:
                            negcount *= 4.0
                        elif w in verydict:
                            negcount *= 3.0
                        elif w in moredict:
                            negcount *= 2.0
                        elif w in ishdict:
                            negcount /= 2.0
                        elif w in insufficientdict:
                            negcount /= 4.0
                        elif w in inversedict:
                            d += 1
                    if judgeodd(d) == 'odd':
                        negcount *= -1.0
                        negcount2 += negcount
                        negcount = 0
                        negcount3 = negcount + negcount2 + negcount3
                        negcount2 = 0
                    else:
                        negcount3 = negcount + negcount2 + negcount3
                        negcount = 0
                    a = i + 1
                elif word == '!'.decode('utf8') or word == '!'.decode('utf8'): ##判断句子是否有感叹号
                    for w2 in segtmp[::-1]: #扫描感叹号前的情感词,发现后权值+2,然后退出循环
                        if w2 in posdict or negdict:
                            poscount3 += 2
                            negcount3 += 2
                            break                    
                i += 1 #扫描词位置前移
	    #以下是防止出现负数的情况
            pos_count = 0
            neg_count = 0
            if poscount3 < 0 and negcount3 > 0:
                neg_count += negcount3 - poscount3
                pos_count = 0
            elif negcount3 < 0 and poscount3 > 0:
                pos_count = poscount3 - negcount3
                neg_count = 0
            elif poscount3 < 0 and negcount3 < 0:
                neg_count = -poscount3
                pos_count = -negcount3
            else:
                pos_count = poscount3
                neg_count = negcount3
                
            count1.append([pos_count, neg_count])
        count2.append(count1)
        count1 = []    

    return count2

6. 计算出所需的积极情感值,消极情感值,积极情感均值,消极情感均值,积极情感方差,消极情感方差。

def sentiment_score(senti_score_list):
    score = []
    for review in senti_score_list:
        score_array = np.array(review)
        Pos = np.sum(score_array[:,0])
        Neg = np.sum(score_array[:,1])
        AvgPos = np.mean(score_array[:,0])
        AvgNeg = np.mean(score_array[:,1])
        StdPos = np.std(score_array[:,0])
        StdNeg = np.std(score_array[:,1])
        score.append([Pos, Neg, AvgPos, AvgNeg, StdPos, StdNeg])
    return score

7. 最后把分值写入txt 文件中即可。

某主席说,“没有情感词典的“使用该情感词典进行情感分析”都是耍流氓。”

某帝说,“要有情感词典。”

好吧,那就把情感词典拿出来好了。

情感词典包括①基础情感词典、②拓展情感词典和③领域情感词典。

一、基础情感词典知网(Hownet)情感词典 + 台湾大学简体中文情感极性词典(NTSUSD)

基础情感词典包括了一些被广泛认同的情感词,比如”好“,”漂亮“,”差“,”烂“这些词。有研究者已经帮我们整理了这么一份情感词典。一个是著名的知网(Hownet)情感词典,还有一个是台湾大学简体中文情感极性词典。

知网的情感词典包含如下内容:

值得注意的是,知网(Hownet)里面的情感词有很多是莫名其妙的,比如”噲“、”媢“、”媢嫉“、”忺“这些都不知道从哪里冒出来的词,是需要人工判断手动删除的。

p.s. 停用词表一般使用哈工大的停用词表,网上有下载的资源。

台湾大学简体中文情感极性词典要简洁得多:

把知网(Hownet)里面的正面评价词语、正面情感词语和ntusd的positive词典消重之后组合在一起,成为基础积极情感词典。

把知网的负面评价词语、负面情感词语和ntusd的negative词典消重之后组合在一起,成为基础消极情感词典。

另外需要对知网(Hownet)里面的程度级别词语进行权值的设置。

二、拓展情感词典哈工大整理同义词词林拓展版

拓展情感词典其实就是把基础情感词典通过同义词词典找到情感词的同义词,这样就拓展了基础情感词典。

同义词词典使用了哈工大同义词词林拓展版,具体内容如下:

三、领域词典:需编写程序,使用PMI互信息计算得出

仅仅依靠基础情感词典来识别一个句子里面的情感词是不足够的。在特定的领域,有些并非基础的情感词也有情绪倾向。比如:”这手机很耐摔啊,还防水”。耐摔、防水就是在手机这个领域有积极情绪的词。

要怎么识别这些词呢?一般使用的方法是PMI(互信息)方法。

互信息的概念可以参见吴军博士《数学之美》一书。简单的说,如果一个词和积极的词语一起出现的频率高,那么这个词是积极倾向的可能性也会大,反之亦然。所以,只要计算一个词和积极词出现的频率和消极词出现的频率之差,并设定某个阈值,就可以粗略的得知这个词的情感倾向了。

计算共现又可以细分两种方法:一种是利用搜索引擎计算共现值,一种是直接利用语料计算共现值。

具体方法:

  1. 先选定核心情感词(可以有多个),该核心情感词的情感必须非常明确,具有代表性。这里暂定积极词为:”好“,消极词为”烂“。

2.1 利用搜索引擎计算共现值。既在搜索引擎中搜索”某个词+好“,记录下网页数量co_pos。然后再搜索”某个词+烂“,记录下网页数量co_neg。再搜索”某个词“,记录下网页数量n。再搜索”好“,网页数量为pos,搜索”烂“,网页数量为neg。由此可利用这些数据来计算积极互信息和消极互信息。最后求两个互信息之差,差为正则积极、为负则消极。

重复计算不同词的互信息之差,最后选分值高的即可组成领域情感词典。

2.2 利用语料库计算共现值。原理一样,在语料库中搜索”某个词+好“,记录下数量。再搜索”某个词+烂“,记录下数量。后面的步骤都和上面一样。

四、最后把三个词典结合起来,形成了完整的情感词典。包括积极情感词典和消极情感词典。

最后必须说明,利用情感词典来判断一个句子的情感是有着明显不足的。

中文有着丰富的语义表达,很多情感都是隐含的,比如:”我昨天吃了这道菜,今天就拉肚子了“。这句话没有一个情感词,但表达的是消极的情绪。还有各种事正话反说的句子,比如:“你说这里的菜很好吃,我只能呵呵了“。如果用词典匹配,有”好吃“,”呵呵“两个积极词,但这句话表达的绝非积极的情绪。

这里就需要更高级复杂的处理方式,要更深入句子的句法,语法了。

本文参考源码:

https://github.com/Azure-rong/Review-Helpfulness-Prediction/tree/master/main/Feature%20extraction%20module/Sentiment%20features/Sentiment%20dictionary%20features

原文发布于微信公众号 - 大数据挖掘DT数据分析(datadw)

原文发表时间:2016-07-24

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏CDA数据分析师

11款开放中文分词引擎大比拼

在逐渐步入DT(DataTechnology)时代的今天,自然语义分析技术越发不可或缺。对于我们每天打交道的中文来说,并没有类似英文空格的边界标志。而理解句子所...

2388
来自专栏清墨_iOS分享

OpenGLES- 拨开迷雾

一、OpenGLES简介(请自行百度) 使用OpenGLES你可以做出很多超酷的东西!但(That's not what I said): 很多编程语言都是入门...

3357
来自专栏进击的程序猿

cs224d-第二课-word2vec

首先我想说下为什么会去学习cs224d,原先我一直是做工程的,做了大概3年,产品做了好多,但是大多不幸夭折了,上线没多久就下线,最后实在是经受不住心灵的折磨,转...

821
来自专栏CDA数据分析师

让机器猜猜你喜欢的歌手-R关联分析

作者 CDA 数据分析师 关联规则挖掘是数据挖掘中成果颇丰而且比较活跃的研究分支。采用关联模型比较典型的案例是“尿布与啤酒”的故事。在美国,一些年轻的父亲...

21110
来自专栏专知

【论文推荐】最新七篇推荐系统相关论文—协同度量学习、SQL-Rank、用户行为与神经网络、隐私价格、贝叶斯、 IoT、序列感知

【导读】专知内容组整理了最近七篇推荐系统(Recommender System)相关文章,为大家进行介绍,欢迎查看! 1. Collaborative Metr...

4398
来自专栏友弟技术工作室

R语言入门

最近在复习python的科学计算,突然心血来潮,想看看R的数据处理和python的区别在哪,所以就有了这篇文章。 R语言简介 四十多年前, R 语言的始祖诞生了...

46311
来自专栏Data Analysis & Viz

乱炖“简书交友”数据之代码(2)

继续更新出来本系列的代码:乱炖数据之2700余篇“简书交友”专题文章数据的花式玩法

593
来自专栏机器学习原理

知识图谱构建

步骤如下: 1 实体识别NER(对专业实体进行分类标记,训练数据,从文中中实现自动抽取专业实体):https://www.jianshu.com/p/68b9...

2282
来自专栏专知

【论文推荐】最新六篇知识图谱相关论文—全局关系嵌入、时序关系提取、对抗学习、远距离关系、时序知识图谱

1732
来自专栏AI科技大本营的专栏

前几日刷屏号称强过谷歌翻译的DeepL,经实测的结果是......(文末送书)

作者 | Yiqin Fu 最近一个德国的 AI 创业公司 DeepL 很火。他们说自己的机器翻译在盲测中秒杀竞品。DeepL 支持“英德法西意荷波”七种语言,...

3026

扫码关注云+社区