3天破9亿!上万条评论解读《西虹市首富》是否值得一看

作者介绍:徐麟,目前就职于上海唯品会产品技术中心,哥大统计数据狗,从事数据挖掘&分析工作,喜欢用R&Python玩一些不一样的数据

本文共 5480 字,阅读预计 12 分钟

几件必须说的小事

1、本次很荣幸收到【徐麟】的投稿,一个非常用心耕耘的大数据开发,欢迎有需要的朋友关注他。

个人公众号:数据森麟(ID:shujusenlin)。

2、昨天送书获奖的朋友会在文末公布,届时会后台联系获奖小伙伴们。

3、【码农翻身】电子书由于我的失误,确实没看过这本书,造成我找到的 PDF 是预览版,小娌昨天在全网搜索了,并没有找到有效的网址能够下载此书,我在各大售书平台都找过(豆瓣,京东,当当),就连淘宝闲鱼我都翻过,都没有卖 PDF 版。但是我找到了码农翻身的精华文集,基本上书中所有知识点都有整理,我会将链接连同今天的好书推荐一起放在后台,回复关键字即可。

4、上面我说朋友们联系我让我找书我没找到,肯定有人要不服了,觉得我连这么点小事都办不好,关注我何用?那你现在就可以取关,我做公号并不只是为了帮你找书,是为了让自己成长,让我的读者成长,找书是顺便的事情,也是为了帮所有人推荐优质书籍做铺垫,我自己也能在推荐中接触到更多的好书。俗话说得好,己所不欲勿施于人 ,自己办不到的事情,也不用非要别人办到。希望我的读者能体谅一下小娌,我真的用心帮你找过了,在此向我所有的粉丝们抱歉,你们领到的码农翻身并不是完整版。

前言

纵观近几年的国产电影市场,“开心麻花“似乎已经成为了票房的保证。从《夏洛特烦恼》、《羞羞的铁拳》到最新上映的《西虹市首富》都引爆了票房。本期我们会根据从猫眼电影网爬取到的上万条评论为你解读《西虹市首富》是否值得一看。

数据爬取

此次数据爬取我们参考了之前其他文章中对于猫眼数据的爬取方法,调用其接口,每次取出部分数据并进行去重,最终得到上万条评论,代码如下:

tomato = pd.DataFrame(columns=['date','score','city','comment','nick'])
for i in range(0, 1000):
    j = random.randint(1,1000)
    print(str(i)+' '+str(j))
   try:
      time.sleep(2) 
      url= 'http://m.maoyan.com/mmdb/comments/movie/1212592.json?_v_=yes&offset='+ str(j)
      html = requests.get(url=url).content
      data = json.loads(html.decode('utf-8'))['cmts']
      for item in data:
          tomato = tomato.append({
                'date':item['time'].split(' ')[0],
                'city':item['cityName'],
                'score':item['score'],
                'comment':item['content'],
                'nick':item['nick']
            },ignore_index=True)
       tomato.to_csv('西虹市首富4.csv',index=False)                           
   except:
       continue

数据分析

我们看一下所得到的数据

数据中我们可以得到用户的昵称,方便后面进行去重。后面的部分主要围绕评分、城市、评论展开。

评论分布热力图

京津翼、江浙沪、珠三角等在各种榜单长期霸榜单的区域,在热力图中,依然占据着重要地位。同时,我们看到东三省和四川、重庆所在区域也有着十分高的热度,这也与沈腾自身东北人&四川女婿的身份不谋而合。

主要城市评论数

下面我们要看的是主要城市的评论数量与打分情况

打出最高分4.77分的正是沈腾家乡的省会城市哈尔滨(沈腾出生于黑龙江齐齐哈尔),看来沈腾在黑龙江还是被广大父老乡亲所认可的。最低分和次低分来自于合肥和郑州,今后的开心麻花可以考虑引入加强在中部地区的宣传。

主要城市评分

我们按照打分从高到底对城市进行排序

在评论数量最多的二十个城市中,评分前七名的城市中东北独占四席,而分数相对较低的城市中武汉、合肥、郑州都属于中部地区,可见不同地区的观众对影评的认可程度有着一定差异。

城市打分情况映射到地图

我们把城市打分情况投射到地图中:(红色表示打分较高,蓝色表示较低)

城市划分区域「 较高 OR 较低 」

进一步,我们把城市划分为评分较高和较低两部分

较高区域

较低区域

可以看到对于“西红柿”,南北方观众的评价存在一定差异,这与每年春晚各个地区收视率似乎有一些吻合知乎。沈腾本身也是春晚的常客,电影中自然会带一些“春晚小品味”,这似乎可以一定程度上解释我们得到的结果。

生成评论词云

看过了评分,我们看一下评论生成的词云图,以下分别是原图和据此绘制的词云图

不知道大家的想法如何,至少在我看到了这样的词云,搞笑、笑点、值得、开心、不错,甚至是哈哈都会激起我强烈的看片欲望。同时,沈腾也被大家反复提起多次,可以预见其在片中有着非常不错的表演,也会一定程度上激发大家看片的欲望。

代码示例

热力图

tomato_com = pd.read_excel('西虹市首富.xlsx')
grouped=tomato_com.groupby(['city'])
grouped_pct=grouped['score']

#tip_pct列
city_com = grouped_pct.agg(['mean','count'])
city_com.reset_index(inplace=True)
city_com['mean'] = round(city_com['mean'],2)

data=[(city_com['city'][i],city_com['count'][i]) 
for i in range(0,
       city_com.shape[0])]

geo = Geo('《西虹市首富》全国热力图', title_color="#fff",
          title_pos="center", width=1200,
          height=600, background_color='#404a59')
attr, value = geo.cast(data)
geo.add("", attr, value, type="heatmap", visual_range=[0, 200],visual_text_color="#fff",
        symbol_size=10, is_visualmap=True,is_roam=False)
geo.render('西虹市首富全国热力图.html')

折线图+柱形图组合

city_main = city_com.sort_values('count',ascending=False)[0:20]
attr = city_main['city']
v1=city_main['count']
v2=city_main['mean']
line = Line("主要城市评分")
line.add("城市", attr, v2, 
         is_stack=True,xaxis_rotate=30,
         yaxis_min=4.2,mark_point['min','max'],
         xaxis_interval=0,line_color='lightblue',
         line_width=4, mark_point_textcolor='black',
         mark_point_color='lightblue',
         is_splitline_show=False)  

bar = Bar("主要城市评论数")
bar.add("城市", attr, v1, is_stack=True,xaxis_rotate=30,yaxis_min=4.2,
         xaxis_interval =0,is_splitline_show=False)
overlap = Overlap()

# 默认不新增 x y 轴,并且 x y 轴的索引都为 0
overlap.add(bar)
overlap.add(line, yaxis_index=1, is_add_yaxis=True)
overlap.render('主要城市评论数_平均分.html')

词云

tomato_str =  ' '.join(tomato_com['comment'])
words_list = []
word_generator = jieba.cut_for_search(tomato_str) 
for word in word_generator:
    words_list.append(word)
words_list = [k for k in words_list if len(k)>1]
back_color = imread('西红柿.jpg')  
# 解析该图片
wc = WordCloud(background_color='white',  
                # 背景颜色
               max_words=200,  
                # 最大词数
               mask=back_color,  
                # 以该参数值作图绘制词云,这个参数不为空时,width和height会被忽略
               max_font_size=300,  
                # 显示字体的最大值
               stopwords=STOPWORDS.add('苟利国'),  
                # 使用内置的屏蔽词,再添加'苟利国'
               font_path="C:/Windows/Fonts/STFANGSO.ttf", 
               random_state=42,  
                # 为每个词返回一个PIL颜色              
                # width=1000,  # 图片的宽              
                # height=860  #图片的长             
               )


tomato_count = Counter(words_list)
wc.generate_from_frequencies(tomato_count)
# 基于彩色图像生成相应彩色
image_colors = ImageColorGenerator(back_color)
# 绘制词云
plt.figure()
plt.imshow(wc.recolor(color_func=image_colors))
plt.axis('off')

原文发布于微信公众号 - Python梦工厂(AzMark950831)

原文发表时间:2018-08-01

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏顶级程序员

用Python模拟弹道轨迹

转自:中国统计网(小编微信:itongjilove) ‍作者:Toby:python数据科学爱好者。国内最大药品数据中心任职,二十多个数据库负责人。 最近美国...

60350
来自专栏SAP最佳业务实践

从SAP最佳业务实践看企业管理(153)-仓储管理

储存保管的目标 (1) 空间的最大化使用。 (2) 劳力及设备的有效使用。 (3) 储存货品特性的全盘考量 即对储存货品的材积、重量、包装单位等品项规格及腐蚀性...

27360
来自专栏编程

Python数据分析系列(1)——品味葡萄酒

作者:王大伟 Python爱好者社区唯一小编 博客:https://ask.hellobi.com/blog/wangdawei ? 前言 数据分析学习了挺久,...

440100
来自专栏乐享123

GPU运算卡备存

18240
来自专栏日常学python

看我如何用Python来分析《斗破苍穹》

近期根据小说《斗破苍穹》改编的同名电视剧正在热映,本文对《斗破苍穹》进行文本分析,分为两部分,首先爬取豆瓣影评进行简单分析,随后对于原创小说文本中的人物进行详细...

15620
来自专栏数据派THU

教你用Python解锁“吃鸡”的正确姿势!

本文用Python分析吃鸡比赛的真实数据,解答至关重要的9个问题,助你提高吃鸡概率。

31630
来自专栏大数据文摘

数学救命:决斗中的概率问题!

50050
来自专栏数据结构与算法

cf519C. A and B and Team Training(找规律)

刚开始想的是:贪心的选,让少的跟多的分在一组里。事实证明这是错的,比如:500 500。

9310
来自专栏量子位

这份NLP研究进展汇总请收好,GitHub连续3天最火的都是它

15130
来自专栏喔家ArchiSelf

6行python代码的爱心线

前些日子在做绩效体系的时候,遇到了一件囧事,居然忘记怎样在Excel上拟合正态分布了,尽管在第二天重新拾起了Excel中那几个常见的函数和图像的做法,还是十分的...

46720

扫码关注云+社区

领取腾讯云代金券