从数据角度探究《前任3》为什么这么火爆

1.《前任3》为什么这么火爆

截止发文时《前任3》票房15.50亿,成为一匹黑马,我习惯性的去豆瓣看了评分

豆瓣上8万多人只打出了5.8的评分,其中1星-3星占比72.6%,那么问题来了,在绝大多数豆瓣粉丝都认为是“烂片”的情况下,究竟是什么让《前任3》票房意外火爆呢?

为了更能说明问题,通过一些舆情监测软件,我参考了一些社交圈的一些数据

  • 搜索微信公众号前任3相关的文章,我们可以看到相关结果2w多,总阅读数6006w+
  • 我查看了点赞数最多的,竟然是蕊希的推文 <前任3>:谢谢和你爱过,也不遗憾最终错过。点赞数22956 阅读量10w+,这里为什么用竟然,是因为我也是蕊希忠实的听众啊,多少个成长的夜晚,是这个电台陪我入睡,多少个... 跑题了跑题了,此处省略一万字

点进去仔细看了一遍,这篇文章主要还是以一些经典的情感语录和分手的撕心裂肺来引起读者的共鸣或者是往事,蕊希的文章总是写的很成功,因为她知道什么样的内容可以打动读者的内心情感,看评论就知道了

所以前任三之所以火爆的原因也许是因为:分手?毕竟“分手”是感情世界里永不褪色的话题,也是最能触发观影者内心情感的话题,不过这只是我们的猜测。

作为一名程序员,我们当然不能只靠这些来说话,数据是最有说服力的,于是我爬取了一下豆瓣的影评。

2.采集豆瓣影评

有朋友私我说之前没怎么写过使用框架采集数据的教程,回过头想了想好像是很少使用框架去爬虫了,最早的一篇还是Python网络爬虫(六)- Scrapy框架戳我复习,发现突然让自己用Scrapy还的确忘记从哪开始了,于是对着电脑开始发呆,大概度过了十分钟的贤者时间一下子重新掌握了Scrapy的整体思路,(明明复习了一两个小时)。 戳我学习Scrapy 流程如下:

  • 创建一个Scrapy项目;
  • 定义提取的Item;
  • 编写爬取网站的 spider 并提取 Item;
  • 编写 Item Pipeline 来存储提取到的Item(即数据)。
  • 提取数据库数据,处理展示
  • 创建项目,终端输入
# 创建项目
scrapy startproject douban_qrs

# 进入项目目录
cd douban_qrs
# 创建爬虫文件
scrapy genspider douban https://movie.douban.com
  • 项目结构(不包括后续配置)
|-- douban_qrs/                        # 项目文件夹
    |-- scrapy.cfg                     # 项目发布配置
    |-- spiders/                       # 项目模块存储了实际的爬虫代码
        |-- __init__.py                # 模块描述文件
        |-- items.py                   # 定义了待抓取域的模型
        |-- pipelines.py               # 项目pipelines定义文件
        |-- settings.py                # 项目全局配置,定义了一些设置,如用户代理、爬取延时等。
        |-- spiders/                   # 爬虫模块<开发>
            |-- __init__.py            # 模块描述文件
            |-- douban.py              # 爬虫代码

难题:scrapy实现模拟登录 这里我又重新去翻了一遍文档,发现文档中是有描述的 参考文档

  • scrapy中cookies的写法,可以与request中cookie的写法对比下

这里我用了两种方法解决这个问题,第一个是加cookie,效果不太理想,我换了第二种采用登录的方式。

  • 由于在登录过程中可能需要输入验证码,目前采用把验证码图片保存至本地手动输入 (借助一些打码平台可以实现自动识别验证码输入,收费)
    def logged_in(self, response):
        img_code = response.xpath("//img[@id='captcha_image']/@src").extract()
        if len(img_code) > 0:
            print("请输入验证码登录")
            localpath = "/home/xsl/imgcode.jpg"
            # 将图片下载到本地
            urllib.request.urlretrieve(img_code[0], filename=localpath)
            print("请查看本地验证码图片并输入验证码")
            img_code_value = input()
            data = {
                "form_email": "你的账号",
                "form_password": "您的密码",
                "captcha-solution": str(img_code_value),
            }

        else:
            print("此时没有验证码")
            data = {
                "form_email": "你的账号",
                "form_password": "您的密码",
            }
        print("登录中.(ง •̀_•́)ง")
        return [scrapy.FormRequest('https://www.douban.com/login',
                                   formdata=data,
                                   callback=self.movie)]

3.词云和分布图展示

def word_cloud(comment):
    logger.info('制作词云图...word_cloud')
    comment_text = ''
    back_coloring = imread("static/zzb.jpg")
    cloud = WordCloud(font_path='static/simhei.ttf',  # 若是有中文的话,这句代码必须添加,不然会出现方框,不出现汉字
                      background_color="white",  # 背景颜色
                      max_words=2000,  # 词云显示的最大词数
                      mask=back_coloring,  # 设置背景图片
                      max_font_size=100,  # 字体最大值
                      random_state=42,
                      width=360, height=591, margin=2,  # 设置图片默认的大小,但是如果使用背景图片的话,那么保存的图片大小将会按照其大小保存,margin为词语边缘距离
                      )
    for li in comment:
        comment_text += ' '.join(jieba.cut(li, cut_all=False))
    wc = cloud.generate(comment_text)
    image_colors = ImageColorGenerator(back_coloring)
    plt.figure("wordc")
    plt.imshow(wc.recolor(color_func=image_colors))
    wc.to_file('前任三词云图.png')


def snowlp_analysis(comment):
    logger.info('自然语言处理NLP...snow_analysis')
    sentimentslist = []
    for li in comment:
        s = SnowNLP(li)
        # logger.debug(li)
        # logger.debug(li, s.sentiments)
        print(li, s.sentiments)
        sentimentslist.append(s.sentiments)
    fig1 = plt.figure("sentiment")
    plt.hist(sentimentslist, bins=np.arange(0, 1, 0.02))
    plt.show()

本来是想用至尊宝做一个词云图的,找了好久没找到素材,就用了之前我的一张壁纸

话说,词云图好像并不能看出什么~而分布图表达的结果也并不直观,那就代表本次的结果没有什么卵用,个人觉得是因为数据量太小了,而且词云图本身对数据展示的结果只能看出高频词而已...我就不分析什么了(我真的尽力了(ง •̀_•́)ง) 我也想像其他大佬一样机器学习,数据分析啊

源码已上传Github

时光无法回头,人生也不能重来,珍惜眼前人。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏小白课代表

小白课代表的软件目录~还有大家的需求

2153
来自专栏小白课代表

小白课代表的软件目录~还有大家的需求

1682
来自专栏Data Analysis & Viz

图表太丑怎么破,ECharts神器带你飞!

在本专栏或文集中,我曾多次使用ECharts绘制图表、进行可视化,也渐渐积累了30多个实例,本文对此前用过的所有图表和代码进行整理并分享,以给想绘制精美图表的人...

4122
来自专栏编程之旅

iOS开发——步数获取

最近半个月的开发工作,重点一直是类似于悦跑圈、咕咚这样的运动产品的功能,所以在处理iOS设备在运动中的表现也是积累了一些经验。

1572
来自专栏Python中文社区

数据挖掘实战(一):Kaggle竞赛经典案例剖析

專 欄 ❈那只猫,Python中文社区专栏作者,Python中文社区新Logo设计者,现就读于英国剑桥大学。 ❈— Load Lib ? 在这边提一下为什么要...

2917
来自专栏腾讯NEXT学位

Mobx 核心概念简单入门:以股票为例

3615
来自专栏SDNLAB

SDN最新研究进展

自SDN出现以来,关于SDN的研究一直没有停止,只是不同的阶段关于SDN的研究的重点不同。比如最开始的时候,探讨最多的是SDN的可行性,以及如何将SDN应用到对...

4076
来自专栏大数据挖掘DT机器学习

Python爬虫股票评论,snowNLP简单分析股民用户情绪

一、背景 股民是网络用户的一大群体,他们的网络情绪在一定程度上反映了该股票的情况,也反映了股市市场的波动情况。作为一只时间充裕的研究僧,我课余时间准备...

4278
来自专栏企鹅号快讯

抓取百度指数引发的图像数字识别

作者介绍: 叶成,数据分析师,就职于易居中国,热爱数据分析和挖掘工作,擅长使用Python倒腾数据。 前言 学习爬虫也有段时间了,闲着无趣,想找点项目练练手,于...

4586
来自专栏机器人网

基于嵌入式Linux的移动机器人控制系统

随着科学技术的发展和社会的需要,移动机器人技术得到了迅速发展,正在渗透到各行各业中,使人们的生活更加便利。现今以单片机为核心的移动机器人存在处理数据量有限、控制...

4585

扫码关注云+社区