从数据角度探究《前任3》为什么这么火爆

# 创建项目
scrapy startproject douban_qrs

# 进入项目目录
cd douban_qrs
# 创建爬虫文件
scrapy genspider douban https://movie.douban.com

|-- douban_qrs/                        # 项目文件夹
    |-- scrapy.cfg                     # 项目发布配置
    |-- spiders/                       # 项目模块存储了实际的爬虫代码
        |-- __init__.py                # 模块描述文件
        |-- items.py                   # 定义了待抓取域的模型
        |-- pipelines.py               # 项目pipelines定义文件
        |-- settings.py                # 项目全局配置，定义了一些设置，如用户代理、爬取延时等。
        |-- spiders/                   # 爬虫模块<开发>
            |-- __init__.py            # 模块描述文件
            |-- douban.py              # 爬虫代码

    def logged_in(self, response):
        img_code = response.xpath("//img[@id='captcha_image']/@src").extract()
        if len(img_code) > 0:
            print("请输入验证码登录")
            localpath = "/home/xsl/imgcode.jpg"
            # 将图片下载到本地
            urllib.request.urlretrieve(img_code[0], filename=localpath)
            print("请查看本地验证码图片并输入验证码")
            img_code_value = input()
            data = {
                "form_email": "你的账号",
                "form_password": "您的密码",
                "captcha-solution": str(img_code_value),
            }

        else:
            print("此时没有验证码")
            data = {
                "form_email": "你的账号",
                "form_password": "您的密码",
            }
        print("登录中.(ง •̀_•́)ง")
        return [scrapy.FormRequest('https://www.douban.com/login',
                                   formdata=data,
                                   callback=self.movie)]

def word_cloud(comment):
    logger.info('制作词云图...word_cloud')
    comment_text = ''
    back_coloring = imread("static/zzb.jpg")
    cloud = WordCloud(font_path='static/simhei.ttf',  # 若是有中文的话，这句代码必须添加，不然会出现方框，不出现汉字
                      background_color="white",  # 背景颜色
                      max_words=2000,  # 词云显示的最大词数
                      mask=back_coloring,  # 设置背景图片
                      max_font_size=100,  # 字体最大值
                      random_state=42,
                      width=360, height=591, margin=2,  # 设置图片默认的大小,但是如果使用背景图片的话,那么保存的图片大小将会按照其大小保存,margin为词语边缘距离
                      )
    for li in comment:
        comment_text += ' '.join(jieba.cut(li, cut_all=False))
    wc = cloud.generate(comment_text)
    image_colors = ImageColorGenerator(back_coloring)
    plt.figure("wordc")
    plt.imshow(wc.recolor(color_func=image_colors))
    wc.to_file('前任三词云图.png')


def snowlp_analysis(comment):
    logger.info('自然语言处理NLP...snow_analysis')
    sentimentslist = []
    for li in comment:
        s = SnowNLP(li)
        # logger.debug(li)
        # logger.debug(li, s.sentiments)
        print(li, s.sentiments)
        sentimentslist.append(s.sentiments)
    fig1 = plt.figure("sentiment")
    plt.hist(sentimentslist, bins=np.arange(0, 1, 0.02))
    plt.show()