爬取女神王祖贤的海报评论，看看粉丝们是怎么说

“ 前面的文章里爬取了豆瓣上女神王祖贤的海报和对应的评论（传送门），今天来把坑填上，处理MongoDB数据，生成词云”

jieba关键词提取

01.MongoDB数据

先来看下MongoDB中存了多少数据

抓了28万多的数据，我们分析肯定不能用这多的数据来搞。

这里安利一波mlab，挺好用的，有兴趣的同学可以看看。

拉取一部分评论数据保存到本地，同时进行情感分析，我这里使用snownlp工具

下面就是连接MongoDB数据库，并且拉取数据

因为评论中可能会有些空格，回车等特殊字符，所以直接做了处理，以防后面影响数据处理。

保存到本地的数据大概是这样，能够看出描述文字越多，snownlp这个工具的情感分析越准确。

02.jieba加词云

首先使用jieba工具，提取关键字，这里我用的是TF-IDF算法，用法及各个参数如下

ba.analyse.extract_tags(sentence, topK=20, withWeight=False, allowPOS=())

· sentence 为待提取的文本

· topK 为返回几个 TF/IDF 权重最大的关键词，默认值为 20

· withWeight 为是否一并返回关键词权重值，默认值为 False

· allowPOS 仅包括指定词性的词，默认值为空，即不筛选

最后完整的代码

生成的词云

总结起来就是清丽脱俗的女神，没跑！当然棒子、衰样、赌神也是挺抢镜的

03.总结

小小的一个功能实现，用到的技术栈还是挺多的，包括MongoDB、Pandas数据操作，词云和jieba的使用等等。

最后完整的代码可以戳：

https://github.com/zhouwei713/douban/tree/master/wangzuxian_poster