“ 前面的文章里爬取了豆瓣上女神王祖贤的海报和对应的评论(传送门),今天来把坑填上,处理MongoDB数据,生成词云”
jieba关键词提取
01.MongoDB数据
先来看下MongoDB中存了多少数据
抓了28万多的数据,我们分析肯定不能用这多的数据来搞。
这里安利一波mlab,挺好用的,有兴趣的同学可以看看。
拉取一部分评论数据保存到本地,同时进行情感分析,我这里使用snownlp工具
下面就是连接MongoDB数据库,并且拉取数据
因为评论中可能会有些空格,回车等特殊字符,所以直接做了处理,以防后面影响数据处理。
保存到本地的数据大概是这样,能够看出描述文字越多,snownlp这个工具的情感分析越准确。
02.jieba加词云
首先使用jieba工具,提取关键字,这里我用的是TF-IDF算法,用法及各个参数如下
ba.analyse.extract_tags(sentence, topK=20, withWeight=False, allowPOS=())
· sentence 为待提取的文本
· topK 为返回几个 TF/IDF 权重最大的关键词,默认值为 20
· withWeight 为是否一并返回关键词权重值,默认值为 False
· allowPOS 仅包括指定词性的词,默认值为空,即不筛选
最后完整的代码
生成的词云
总结起来就是清丽脱俗的女神,没跑!当然棒子、衰样、赌神也是挺抢镜的
03.总结
小小的一个功能实现,用到的技术栈还是挺多的,包括MongoDB、Pandas数据操作,词云和jieba的使用等等。
最后完整的代码可以戳:
https://github.com/zhouwei713/douban/tree/master/wangzuxian_poster