专栏首页数据分析与挖掘【自然语言处理】利用LDA对希拉里邮件进行主题分析

【自然语言处理】利用LDA对希拉里邮件进行主题分析

首先是读取数据集,并将csv中ExtractedBodyText为空的给去除掉

import pandas as pd
import re
import os

dir_path=os.path.dirname(os.path.abspath(__file__))
data_path=dir_path+"/Database/HillaryEmails.csv"
df=pd.read_csv(data_path)
df=df[['Id','ExtractedBodyText']].dropna()

对于这些邮件信息,并不是所有的词都是有意义的,也就是先要去除掉一些噪声数据:

def clean_email_text(text):
    text = text.replace('\n'," ") #新行,我们是不需要的
    text = re.sub(r"-", " ", text) #把 "-" 的两个单词,分开。(比如:july-edu ==> july edu)
    text = re.sub(r"\d+/\d+/\d+", "", text) #日期,对主体模型没什么意义
    text = re.sub(r"[0-2]?[0-9]:[0-6][0-9]", "", text) #时间,没意义
    text = re.sub(r"[\w]+@[\.\w]+", "", text) #邮件地址,没意义
    text = re.sub(r"/[a-zA-Z]*[:\//\]*[A-Za-z0-9\-_]+\.+[A-Za-z0-9\.\/%&=\?\-_]+/i", "", text) #网址,没意义
    pure_text = ''
    # 以防还有其他特殊字符(数字)等等,我们直接把他们loop一遍,过滤掉
    for letter in text:
        # 只留下字母和空格
        if letter.isalpha() or letter==' ':
            pure_text += letter
    # 再把那些去除特殊字符后落单的单词,直接排除。
    # 我们就只剩下有意义的单词了。
    text = ' '.join(word for word in pure_text.split() if len(word)>1)
    return text

然后取出ExtractedBodyText的那一列,对每一行email进行噪声过滤,并返回一个对象:

docs = df['ExtractedBodyText']
docs = docs.apply(lambda s: clean_email_text(s))  

然后我们呢把里面的email提取出来:

doclist=docs.values

接下来,我们使用gensim库来进行LDA模型的构建,gensim可用指令pip install -U gensim安装。但是,要注意输入到模型中的数据的格式。例如:将[[一条邮件字符串],[另一条邮件字符串], ...]转换成[[一,条,邮件,在,这里],[第,二,条,邮件,在,这里],[今天,天气,肿么,样],...]。对于英文的分词,只需要对空白处分割即可。同时,有些词语(不同于噪声)是没有意义的,我们要过滤掉那些没有意义的词语,这里简单的写一个停止词列表:

stoplist = ['very', 'ourselves', 'am', 'doesn', 'through', 'me', 'against', 'up', 'just', 'her', 'ours',
            'couldn', 'because', 'is', 'isn', 'it', 'only', 'in', 'such', 'too', 'mustn', 'under', 'their',
            'if', 'to', 'my', 'himself', 'after', 'why', 'while', 'can', 'each', 'itself', 'his', 'all', 'once',
            'herself', 'more', 'our', 'they', 'hasn', 'on', 'ma', 'them', 'its', 'where', 'did', 'll', 'you',
            'didn', 'nor', 'as', 'now', 'before', 'those', 'yours', 'from', 'who', 'was', 'm', 'been', 'will',
            'into', 'same', 'how', 'some', 'of', 'out', 'with', 's', 'being', 't', 'mightn', 'she', 'again', 'be',
            'by', 'shan', 'have', 'yourselves', 'needn', 'and', 'are', 'o', 'these', 'further', 'most', 'yourself',
            'having', 'aren', 'here', 'he', 'were', 'but', 'this', 'myself', 'own', 'we', 'so', 'i', 'does', 'both',
            'when', 'between', 'd', 'had', 'the', 'y', 'has', 'down', 'off', 'than', 'haven', 'whom', 'wouldn',
            'should', 've', 'over', 'themselves', 'few', 'then', 'hadn', 'what', 'until', 'won', 'no', 'about',
            'any', 'that', 'for', 'shouldn', 'don', 'do', 'there', 'doing', 'an', 'or', 'ain', 'hers', 'wasn',
            'weren', 'above', 'a', 'at', 'your', 'theirs', 'below', 'other', 'not', 're', 'him', 'during', 'which']

然后我们将输入转换成gensim所需的格式,并过滤掉停用词:

texts = [[word for word in doc.lower().split() if word not in stoplist] for doc in doclist]

再将这所有的单词放入到一个词袋中,把每个单词用一个数字index指代:

from gensim import corpora, models, similarities
import gensim
dictionary = corpora.Dictionary(texts)

再分别统计每一篇email中每个词语在这个词袋中出现的次数,并返回一个列表:

corpus = [dictionary.doc2bow(text) for text in texts]

这个列表告诉我们,第14(从0开始是第一)个邮件中,一共6个有意义的单词(经过我们的文本预处理,并去除了停止词后)其中,51号单词出现1次,505号单词出现1次,以此类推。。。

最后,就可以开始构建我们的模型了:

lda = gensim.models.ldamodel.LdaModel(corpus=corpus, id2word=dictionary, num_topics=20)
print(lda.print_topic(10, topn=5))

可以看到,第11个主题最常用的单词,接下来,我们看下所有的主题:

for i in lda.print_topics(num_topics=20, num_words=5):
    print(i)

我们再看下第一篇email属于哪一个主题:

print(lda.get_document_topics(corpus[0]))

属于第四个主题的概率是0.95

相关代码和数据:链接: https://pan.baidu.com/s/1sl1I5IeQFDHjVwf2a0C89g 提取码: xqqf

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • django-VIews之HttpResponse(一)

    HttpResponse(content,conent_type=None,status=None,charset=None,*args,**kwargst)

    绝命生
  • spring之如何在web应用中使用?

    可以将IOC容器放在ServletContext(即applicaiton域)的一个属性中。

    绝命生
  • python之类也是一个对象

    类属性就是给类对象中定义的属性,即在class下方使用赋值语句即可。通常用于记录与这个类相关的一些特征。类属性不会用于记录具体对象的特征。例如:

    绝命生
  • 使用JavaScript调用Microsoft XMLDOM库进行XML字符串的解析

    Jerry Wang
  • PC逆向之代码还原技术,第五讲汇编中乘法的代码还原

    在汇编中,乘法指令使用 IMUL 或者 MUL指令. 一般有两种形式 IMUL reg,imm 这种指令格式是 reg * imm的结果 重新放到reg中. ...

    IBinary
  • 创建SvcHost.exe调用的服务原理与实践

    1. 多个服务共享一个Svchost.exe进程利与弊 windows 系统服务分为独立进程和共享进程两种,在windows NT时只有服务...

    战神伽罗
  • nProtect APPGuard安卓反外挂分析

    1.最近在学习手游保护方面的技术,本文是学习过程中分析某反外挂的一点记录,高手莫要见笑,有不对的地方还请指教,首先简单通过资源目录中文件名做基本了解,

    我是小三
  • CSS3 text 学习笔记

    LRainner
  • scrapy爬虫框架(四):scrapy中 yield使用详解

    MySQL下载:点我 python MySQL驱动下载:pymysql(pyMySql,直接用pip方式安装)

    渔父歌
  • An example of how Opportunity note is determined

    版权声明:署名,允许他人基于本文进行创作,且必须基于与原先许可协议相同的许可协议分发本文 (Creative Commons)

    Jerry Wang

扫码关注云+社区

领取腾讯云代金券