专栏首页AzMark3天破9亿!上万条评论解读《西虹市首富》是否值得一看

3天破9亿!上万条评论解读《西虹市首富》是否值得一看

作者介绍:徐麟,目前就职于上海唯品会产品技术中心,哥大统计数据狗,从事数据挖掘&分析工作,喜欢用R&Python玩一些不一样的数据

本文共 5480 字,阅读预计 12 分钟

几件必须说的小事

1、本次很荣幸收到【徐麟】的投稿,一个非常用心耕耘的大数据开发,欢迎有需要的朋友关注他。

个人公众号:数据森麟(ID:shujusenlin)。

2、昨天送书获奖的朋友会在文末公布,届时会后台联系获奖小伙伴们。

3、【码农翻身】电子书由于我的失误,确实没看过这本书,造成我找到的 PDF 是预览版,小娌昨天在全网搜索了,并没有找到有效的网址能够下载此书,我在各大售书平台都找过(豆瓣,京东,当当),就连淘宝闲鱼我都翻过,都没有卖 PDF 版。但是我找到了码农翻身的精华文集,基本上书中所有知识点都有整理,我会将链接连同今天的好书推荐一起放在后台,回复关键字即可。

4、上面我说朋友们联系我让我找书我没找到,肯定有人要不服了,觉得我连这么点小事都办不好,关注我何用?那你现在就可以取关,我做公号并不只是为了帮你找书,是为了让自己成长,让我的读者成长,找书是顺便的事情,也是为了帮所有人推荐优质书籍做铺垫,我自己也能在推荐中接触到更多的好书。俗话说得好,己所不欲勿施于人 ,自己办不到的事情,也不用非要别人办到。希望我的读者能体谅一下小娌,我真的用心帮你找过了,在此向我所有的粉丝们抱歉,你们领到的码农翻身并不是完整版。

前言

纵观近几年的国产电影市场,“开心麻花“似乎已经成为了票房的保证。从《夏洛特烦恼》、《羞羞的铁拳》到最新上映的《西虹市首富》都引爆了票房。本期我们会根据从猫眼电影网爬取到的上万条评论为你解读《西虹市首富》是否值得一看。

数据爬取

此次数据爬取我们参考了之前其他文章中对于猫眼数据的爬取方法,调用其接口,每次取出部分数据并进行去重,最终得到上万条评论,代码如下:

tomato = pd.DataFrame(columns=['date','score','city','comment','nick'])
for i in range(0, 1000):
    j = random.randint(1,1000)
    print(str(i)+' '+str(j))
   try:
      time.sleep(2) 
      url= 'http://m.maoyan.com/mmdb/comments/movie/1212592.json?_v_=yes&offset='+ str(j)
      html = requests.get(url=url).content
      data = json.loads(html.decode('utf-8'))['cmts']
      for item in data:
          tomato = tomato.append({
                'date':item['time'].split(' ')[0],
                'city':item['cityName'],
                'score':item['score'],
                'comment':item['content'],
                'nick':item['nick']
            },ignore_index=True)
       tomato.to_csv('西虹市首富4.csv',index=False)                           
   except:
       continue

数据分析

我们看一下所得到的数据

数据中我们可以得到用户的昵称,方便后面进行去重。后面的部分主要围绕评分、城市、评论展开。

评论分布热力图

京津翼、江浙沪、珠三角等在各种榜单长期霸榜单的区域,在热力图中,依然占据着重要地位。同时,我们看到东三省和四川、重庆所在区域也有着十分高的热度,这也与沈腾自身东北人&四川女婿的身份不谋而合。

主要城市评论数

下面我们要看的是主要城市的评论数量与打分情况

打出最高分4.77分的正是沈腾家乡的省会城市哈尔滨(沈腾出生于黑龙江齐齐哈尔),看来沈腾在黑龙江还是被广大父老乡亲所认可的。最低分和次低分来自于合肥和郑州,今后的开心麻花可以考虑引入加强在中部地区的宣传。

主要城市评分

我们按照打分从高到底对城市进行排序

在评论数量最多的二十个城市中,评分前七名的城市中东北独占四席,而分数相对较低的城市中武汉、合肥、郑州都属于中部地区,可见不同地区的观众对影评的认可程度有着一定差异。

城市打分情况映射到地图

我们把城市打分情况投射到地图中:(红色表示打分较高,蓝色表示较低)

城市划分区域「 较高 OR 较低 」

进一步,我们把城市划分为评分较高和较低两部分

较高区域

较低区域

可以看到对于“西红柿”,南北方观众的评价存在一定差异,这与每年春晚各个地区收视率似乎有一些吻合知乎。沈腾本身也是春晚的常客,电影中自然会带一些“春晚小品味”,这似乎可以一定程度上解释我们得到的结果。

生成评论词云

看过了评分,我们看一下评论生成的词云图,以下分别是原图和据此绘制的词云图

不知道大家的想法如何,至少在我看到了这样的词云,搞笑、笑点、值得、开心、不错,甚至是哈哈都会激起我强烈的看片欲望。同时,沈腾也被大家反复提起多次,可以预见其在片中有着非常不错的表演,也会一定程度上激发大家看片的欲望。

代码示例

热力图

tomato_com = pd.read_excel('西虹市首富.xlsx')
grouped=tomato_com.groupby(['city'])
grouped_pct=grouped['score']

#tip_pct列
city_com = grouped_pct.agg(['mean','count'])
city_com.reset_index(inplace=True)
city_com['mean'] = round(city_com['mean'],2)

data=[(city_com['city'][i],city_com['count'][i]) 
for i in range(0,
       city_com.shape[0])]

geo = Geo('《西虹市首富》全国热力图', title_color="#fff",
          title_pos="center", width=1200,
          height=600, background_color='#404a59')
attr, value = geo.cast(data)
geo.add("", attr, value, type="heatmap", visual_range=[0, 200],visual_text_color="#fff",
        symbol_size=10, is_visualmap=True,is_roam=False)
geo.render('西虹市首富全国热力图.html')

折线图+柱形图组合

city_main = city_com.sort_values('count',ascending=False)[0:20]
attr = city_main['city']
v1=city_main['count']
v2=city_main['mean']
line = Line("主要城市评分")
line.add("城市", attr, v2, 
         is_stack=True,xaxis_rotate=30,
         yaxis_min=4.2,mark_point['min','max'],
         xaxis_interval=0,line_color='lightblue',
         line_width=4, mark_point_textcolor='black',
         mark_point_color='lightblue',
         is_splitline_show=False)  

bar = Bar("主要城市评论数")
bar.add("城市", attr, v1, is_stack=True,xaxis_rotate=30,yaxis_min=4.2,
         xaxis_interval =0,is_splitline_show=False)
overlap = Overlap()

# 默认不新增 x y 轴,并且 x y 轴的索引都为 0
overlap.add(bar)
overlap.add(line, yaxis_index=1, is_add_yaxis=True)
overlap.render('主要城市评论数_平均分.html')

词云

tomato_str =  ' '.join(tomato_com['comment'])
words_list = []
word_generator = jieba.cut_for_search(tomato_str) 
for word in word_generator:
    words_list.append(word)
words_list = [k for k in words_list if len(k)>1]
back_color = imread('西红柿.jpg')  
# 解析该图片
wc = WordCloud(background_color='white',  
                # 背景颜色
               max_words=200,  
                # 最大词数
               mask=back_color,  
                # 以该参数值作图绘制词云,这个参数不为空时,width和height会被忽略
               max_font_size=300,  
                # 显示字体的最大值
               stopwords=STOPWORDS.add('苟利国'),  
                # 使用内置的屏蔽词,再添加'苟利国'
               font_path="C:/Windows/Fonts/STFANGSO.ttf", 
               random_state=42,  
                # 为每个词返回一个PIL颜色              
                # width=1000,  # 图片的宽              
                # height=860  #图片的长             
               )


tomato_count = Counter(words_list)
wc.generate_from_frequencies(tomato_count)
# 基于彩色图像生成相应彩色
image_colors = ImageColorGenerator(back_color)
# 绘制词云
plt.figure()
plt.imshow(wc.recolor(color_func=image_colors))
plt.axis('off')

本文分享自微信公众号 - Python梦工厂(AzMark950831)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-08-01

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Python字典的介绍

    Python技术与生活认知的分享
  • Python 学习之 def 函数

    当我们定义了一个 function(),并不意味着我们要调用它,所以我们需要运行这个 function(),一个简单的办法就是在 input 框中输入 func...

    Python技术与生活认知的分享
  • Python 学习之 Tkinter「上 」

    Python技术与生活认知的分享
  • 01 . Docker原理部署及常用操作命令

    这里面可能有多个镜像文件,镜像本身是只读的,而且镜像在registries放的时候仓库名就是应用程序名,而后仓库内可以放多个镜像,而且这些镜像通常属于同一个...

    youmen
  • Apache libcloud中对CloudStack的支持

    原文地址:https://dzone.com/articles/cloudstack-support-apache

    Steve Wang
  • 初学Docker容器网络不得不看的学习笔记

    Docker 是一个开源的应用容器引擎,基于 Go 语言 并遵从Apache2.0协议开源。

    宜信技术学院
  • Metallb - 贫苦 K8S 用户的负载均衡支持

    在私有网络上运行 Kubernetes,和御三家相比,对 LoadBalancer 类型的服务的支持应该是众多表面差异中最醒目的一个了。类型为 LoadBala...

    崔秀龙
  • Apache libcloud中的CloudStack支持

    阅览者注意:这篇文章的内容是由Sebastien Goasguen在Build a Cloud博客撰写的 。

    Hero
  • docker常用命令

    用户2038589
  • Docker从入门到放弃

    本文将以比较简单的的方式让大家理解docker,以平时常用到的测试环境为主,从用开始,慢慢理解docker。

    FB客服

扫码关注云+社区

领取腾讯云代金券