专栏首页Python攻城狮从数据角度探究《前任3》为什么这么火爆

从数据角度探究《前任3》为什么这么火爆

1.《前任3》为什么这么火爆

截止发文时《前任3》票房15.50亿,成为一匹黑马,我习惯性的去豆瓣看了评分

豆瓣上8万多人只打出了5.8的评分,其中1星-3星占比72.6%,那么问题来了,在绝大多数豆瓣粉丝都认为是“烂片”的情况下,究竟是什么让《前任3》票房意外火爆呢?

为了更能说明问题,通过一些舆情监测软件,我参考了一些社交圈的一些数据

  • 搜索微信公众号前任3相关的文章,我们可以看到相关结果2w多,总阅读数6006w+
  • 我查看了点赞数最多的,竟然是蕊希的推文 <前任3>:谢谢和你爱过,也不遗憾最终错过。点赞数22956 阅读量10w+,这里为什么用竟然,是因为我也是蕊希忠实的听众啊,多少个成长的夜晚,是这个电台陪我入睡,多少个... 跑题了跑题了,此处省略一万字

点进去仔细看了一遍,这篇文章主要还是以一些经典的情感语录和分手的撕心裂肺来引起读者的共鸣或者是往事,蕊希的文章总是写的很成功,因为她知道什么样的内容可以打动读者的内心情感,看评论就知道了

所以前任三之所以火爆的原因也许是因为:分手?毕竟“分手”是感情世界里永不褪色的话题,也是最能触发观影者内心情感的话题,不过这只是我们的猜测。

作为一名程序员,我们当然不能只靠这些来说话,数据是最有说服力的,于是我爬取了一下豆瓣的影评。

2.采集豆瓣影评

有朋友私我说之前没怎么写过使用框架采集数据的教程,回过头想了想好像是很少使用框架去爬虫了,最早的一篇还是Python网络爬虫(六)- Scrapy框架戳我复习,发现突然让自己用Scrapy还的确忘记从哪开始了,于是对着电脑开始发呆,大概度过了十分钟的贤者时间一下子重新掌握了Scrapy的整体思路,(明明复习了一两个小时)。 戳我学习Scrapy 流程如下:

  • 创建一个Scrapy项目;
  • 定义提取的Item;
  • 编写爬取网站的 spider 并提取 Item;
  • 编写 Item Pipeline 来存储提取到的Item(即数据)。
  • 提取数据库数据,处理展示
  • 创建项目,终端输入
# 创建项目
scrapy startproject douban_qrs

# 进入项目目录
cd douban_qrs
# 创建爬虫文件
scrapy genspider douban https://movie.douban.com
  • 项目结构(不包括后续配置)
|-- douban_qrs/                        # 项目文件夹
    |-- scrapy.cfg                     # 项目发布配置
    |-- spiders/                       # 项目模块存储了实际的爬虫代码
        |-- __init__.py                # 模块描述文件
        |-- items.py                   # 定义了待抓取域的模型
        |-- pipelines.py               # 项目pipelines定义文件
        |-- settings.py                # 项目全局配置,定义了一些设置,如用户代理、爬取延时等。
        |-- spiders/                   # 爬虫模块<开发>
            |-- __init__.py            # 模块描述文件
            |-- douban.py              # 爬虫代码

难题:scrapy实现模拟登录 这里我又重新去翻了一遍文档,发现文档中是有描述的 参考文档

  • scrapy中cookies的写法,可以与request中cookie的写法对比下

这里我用了两种方法解决这个问题,第一个是加cookie,效果不太理想,我换了第二种采用登录的方式。

  • 由于在登录过程中可能需要输入验证码,目前采用把验证码图片保存至本地手动输入 (借助一些打码平台可以实现自动识别验证码输入,收费)
    def logged_in(self, response):
        img_code = response.xpath("//img[@id='captcha_image']/@src").extract()
        if len(img_code) > 0:
            print("请输入验证码登录")
            localpath = "/home/xsl/imgcode.jpg"
            # 将图片下载到本地
            urllib.request.urlretrieve(img_code[0], filename=localpath)
            print("请查看本地验证码图片并输入验证码")
            img_code_value = input()
            data = {
                "form_email": "你的账号",
                "form_password": "您的密码",
                "captcha-solution": str(img_code_value),
            }

        else:
            print("此时没有验证码")
            data = {
                "form_email": "你的账号",
                "form_password": "您的密码",
            }
        print("登录中.(ง •̀_•́)ง")
        return [scrapy.FormRequest('https://www.douban.com/login',
                                   formdata=data,
                                   callback=self.movie)]

3.词云和分布图展示

def word_cloud(comment):
    logger.info('制作词云图...word_cloud')
    comment_text = ''
    back_coloring = imread("static/zzb.jpg")
    cloud = WordCloud(font_path='static/simhei.ttf',  # 若是有中文的话,这句代码必须添加,不然会出现方框,不出现汉字
                      background_color="white",  # 背景颜色
                      max_words=2000,  # 词云显示的最大词数
                      mask=back_coloring,  # 设置背景图片
                      max_font_size=100,  # 字体最大值
                      random_state=42,
                      width=360, height=591, margin=2,  # 设置图片默认的大小,但是如果使用背景图片的话,那么保存的图片大小将会按照其大小保存,margin为词语边缘距离
                      )
    for li in comment:
        comment_text += ' '.join(jieba.cut(li, cut_all=False))
    wc = cloud.generate(comment_text)
    image_colors = ImageColorGenerator(back_coloring)
    plt.figure("wordc")
    plt.imshow(wc.recolor(color_func=image_colors))
    wc.to_file('前任三词云图.png')


def snowlp_analysis(comment):
    logger.info('自然语言处理NLP...snow_analysis')
    sentimentslist = []
    for li in comment:
        s = SnowNLP(li)
        # logger.debug(li)
        # logger.debug(li, s.sentiments)
        print(li, s.sentiments)
        sentimentslist.append(s.sentiments)
    fig1 = plt.figure("sentiment")
    plt.hist(sentimentslist, bins=np.arange(0, 1, 0.02))
    plt.show()

本来是想用至尊宝做一个词云图的,找了好久没找到素材,就用了之前我的一张壁纸

话说,词云图好像并不能看出什么~而分布图表达的结果也并不直观,那就代表本次的结果没有什么卵用,个人觉得是因为数据量太小了,而且词云图本身对数据展示的结果只能看出高频词而已...我就不分析什么了(我真的尽力了(ง •̀_•́)ง) 我也想像其他大佬一样机器学习,数据分析啊

源码已上传Github

时光无法回头,人生也不能重来,珍惜眼前人。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • python高级编程1.==,is的使用 2.深拷贝、浅拷贝 3.属性property

    @property成为属性函数,可以对属性赋值时做必要的检查,并保证代码的清晰短小,主要有2个作用

    意气相许的许
  • Django实战(一)- 搭建简单的博客系统

    意气相许的许
  • Python-shutil模块1.shutil 是高级的文件,文件夹,压缩包处理模块。2.使用

    1.shutil.copyfileobj(fsrc, fdst[, length])     将文件内容拷贝到另一个文件中

    意气相许的许
  • Clickhouse创建分布式表以及表引擎介绍

    在读取时,引擎只需要输出所请求的列,但在某些情况下,引擎可以在响应请求时部分处理数据。

    职场亮哥
  • 大数据开发体系,进来了解一下?

    掌握Linux必备知识,熟悉Python的使用与爬虫程序的编写,搭建Hadoop(CDH)集群,为大数据技术学习打好基础。

    王知无
  • 新手学JAVA(二)----String类与StringBuffer类的区别

    在Java中有两种字符串的操作:String类和StringBuffer类(缓冲字符串处理类)。 下面先简单的说一下两者的区别。 String类和St...

    令仔很忙
  • PHP pthreads v3下的Volatile简介与使用方法示例

    本文实例讲述了PHP pthreads v3下的Volatile简介与使用方法。分享给大家供大家参考,具体如下:

    砸漏
  • 经典Bug永流传---每周一“虫”(二十九)

    生活是一场艰苦的斗争,永远不能休息一下,要不然,你一寸一尺苦苦挣来的,就可能在一刹那间前功尽弃!

    厦门-安仔
  • 谱聚类

    广义上来说,任何在算法中用到SVD/特征值分解的,都叫Spectral Algorithm。顺便说一下,对于任意矩阵只存在奇异值分解,不存在特征值分解。对于正...

    AIHGF
  • Maximum Subarray

    问题:最大连续子窜和是多少 分析:动态规划,定义max记录最大值,sum记录以i结束的连续子窜的最大值 class Solution { public: ...

    用户1624346

扫码关注云+社区

领取腾讯云代金券