Python情感分析：鹿晗的粉丝们究竟原谅他了吗？

国庆长假的最后一天，鹿晗在微博上公开宣布和关晓彤的恋情。消息来得太突然，不仅粉丝圈里炸了，顺带连微博服务器也给炸了。在此心疼新浪运维工程师一秒，放个假都不能省心。

这条微博让粉丝们心情复杂，却让各路媒体们集体高潮，从各种刁钻的角度进行了全方位的报道和评论，蹭热点的姿势令人眼花缭乱。（在这点上不得不承认，我们是个不称职的公众号，到今天才有了这么一篇分析。）

到目前，这条微博已经有了280多万条评论。有点赞祝福的，有质疑的，当然也少不了悲痛欲绝，甚至表示取关粉转路人的。那么究竟粉丝们对此事的态度如何，真的“原谅”鹿晗了吗？于是，我们编程教室的小伙伴用 python 对评论里的情绪做了个简单的统计分析。

先说我们的结论：原谅？不存在！

此微博的评论中负面情绪较多，说明还是被扎心的粉丝们占了多数，不是一时半会儿就能“原谅”的。这也是符合主观感受的。引用一个热评来说就是“3909万粉丝，一起失恋了”。

这是我们通过一些数据分析得出的结论，到底是不是可信，可以一起来看下我们的分析过程。

1. 抓取微博评论

抓取微博使用了爬虫框架 scrapy，并结合 mongodb 作为数据存储。通常来说，手机版网页会比 PC 版网页更容易抓取数据，所以我们通过 m.weibo.cn 找到了此条微博的评论数据接口：

https://m.weibo.cn/api/comments/show?id=4160547165300149&page=1

通过修改 page 参数，可以获取各页评论。

得到数据之后，通过正则或 bs4 对信息进行提取（我们的代码里用了正则），将评论内容文本存入数据库。

2. 情感分析

2.1 snownlp

首先我们使用了 python 的一个情感分析库 snownlp。在开发过程中，我们看到知乎上也有人做了同样的工作：

• 用python对鹿晗、关晓彤微博进行情感分析 - 宅米RICE https://zhuanlan.zhihu.com/p/29968019
• 利用500W条微博语料对评论进行情感分析 - 布道 https://zhuanlan.zhihu.com/p/30061051

snownlp（https://github.com/isnowfy/snownlp）是一个可以方便处理中文文本的 python 库，提供了分词、词性标注、情感分析、文本分类、转拼音、繁转简、提取关键词、摘要等功能，功能十分强大。

分析结果：

图中情感值越接近 0 表示越消极，越接近 1 表示越积极。从结果来看，0、1 两端和中间 0.5 的数量最多，整体上较为平衡，稍稍偏积极一些。

可真的是这样吗？

我们来挑几热门评论尝试下：

这好像不大对吧。

后来进一步了解发现，snownlp 的默认训练语料库是针对网上商品的购买评价，将其得出的模型用在此微博评论的分析上并不是很准确。于是我们又从网上找了一份针对腾讯微博上新闻事件评价的语料库，来修正训练数据。但可惜因为样本量较少，并且也不是很符合此场景，因此结果和上述差别不大。

我们上面提到的两篇文章，结论也与此类似。如果要进一步提升 snownlp 准确性，则需要一定数量的手动标记样本。

2.2 腾讯文智

那如果一时没有那么多的标记样本，有没有其他方法？我们找到了“腾讯文智” — 腾讯出品的中文语义平台，支持 NLP、转码、抽取、全网数据抓取等中文语义分析需求。这个平台是收费的，不过有一些免费配额，足够我们做一些小的实验分析。

在使用之前，我们也将前文的几条热评测试了一下：

我们来挑几热门评论尝试下：

从这几个例子来看，文智相对要准确一点，虽然有些评论依然没有被划归到负面，但至少没有给到很夸张的积极情感值。

由于文智的数量限制，我们对数据中进行了随机抽样，用一小部分数据进行分析，并且过滤掉了情感值为 0.5 的部分（其中有不少是纯表情回复），得到如下结果：

尽管在手动测试时发现文智的预测会略偏积极，但即便如此，最终的结果依然偏向消极。由此推断，实际的情感可能比这个分布更加负面。这也就是我们文章开始时给出的结论。

这个结论其实并没有多大意义，反正我也不粉鹿晗，但通过程序来做情感分析，也许你会用得到。

获取源码和详细文档，请在公众号（Crossin的编程教室）中回复 鹿晗。

• 代码问题请在论坛 bbs.crossincode.com 上发帖提问
• 欢迎加入讨论交流群组共同学习进步
• 别忘了将我们的文章转发朋友圈或在知乎上为我们的专栏点赞，你们的支持将会让编程教室做得更好：）