3天破9亿！上万条评论解读《西虹市首富》是否值得一看
3天破9亿！上万条评论解读《西虹市首富》是否值得一看
作者介绍：徐麟，目前就职于上海唯品会产品技术中心，哥大统计数据狗，从事数据挖掘&分析工作，喜欢用R&Python玩一些不一样的数据
本文共 5480 字，阅读预计 12 分钟
❈
几件必须说的小事
1、本次很荣幸收到【徐麟】的投稿，一个非常用心耕耘的大数据开发，欢迎有需要的朋友关注他。
个人公众号：数据森麟（ID:shujusenlin）。
2、昨天送书获奖的朋友会在文末公布，届时会后台联系获奖小伙伴们。
3、【码农翻身】电子书由于我的失误，确实没看过这本书，造成我找到的 PDF 是预览版，小娌昨天在全网搜索了，并没有找到有效的网址能够下载此书，我在各大售书平台都找过（豆瓣，京东，当当），就连淘宝闲鱼我都翻过，都没有卖 PDF 版。但是我找到了码农翻身的精华文集，基本上书中所有知识点都有整理，我会将链接连同今天的好书推荐一起放在后台，回复关键字即可。
4、上面我说朋友们联系我让我找书我没找到，肯定有人要不服了，觉得我连这么点小事都办不好，关注我何用？那你现在就可以取关，我做公号并不只是为了帮你找书，是为了让自己成长，让我的读者成长，找书是顺便的事情，也是为了帮所有人推荐优质书籍做铺垫，我自己也能在推荐中接触到更多的好书。俗话说得好，己所不欲勿施于人 ，自己办不到的事情，也不用非要别人办到。希望我的读者能体谅一下小娌，我真的用心帮你找过了，在此向我所有的粉丝们抱歉，你们领到的码农翻身并不是完整版。
❈
前言
纵观近几年的国产电影市场，“开心麻花“似乎已经成为了票房的保证。从《夏洛特烦恼》、《羞羞的铁拳》到最新上映的《西虹市首富》都引爆了票房。本期我们会根据从猫眼电影网爬取到的上万条评论为你解读《西虹市首富》是否值得一看。
数据爬取
此次数据爬取我们参考了之前其他文章中对于猫眼数据的爬取方法，调用其接口，每次取出部分数据并进行去重，最终得到上万条评论，代码如下：
tomato = pd.DataFrame(columns=['date','score','city','comment','nick'])
for i in range(0, 1000):
j = random.randint(1,1000)
print(str(i)+' '+str(j))
try:
time.sleep(2)
url= 'http://m.maoyan.com/mmdb/comments/movie/1212592.json?_v_=yes&offset='+ str(j)
html = requests.get(url=url).content
data = json.loads(html.decode('utf-8'))['cmts']
for item in data:
tomato = tomato.append({
'date':item['time'].split(' ')[0],
'city':item['cityName'],
'score':item['score'],
'comment':item['content'],
'nick':item['nick']
},ignore_index=True)
tomato.to_csv('西虹市首富4.csv',index=False)
except:
continue数据分析
我们看一下所得到的数据
数据中我们可以得到用户的昵称，方便后面进行去重。后面的部分主要围绕评分、城市、评论展开。
评论分布热力图
京津翼、江浙沪、珠三角等在各种榜单长期霸榜单的区域，在热力图中，依然占据着重要地位。同时，我们看到东三省和四川、重庆所在区域也有着十分高的热度，这也与沈腾自身东北人&四川女婿的身份不谋而合。
主要城市评论数
下面我们要看的是主要城市的评论数量与打分情况
打出最高分4.77分的正是沈腾家乡的省会城市哈尔滨（沈腾出生于黑龙江齐齐哈尔），看来沈腾在黑龙江还是被广大父老乡亲所认可的。最低分和次低分来自于合肥和郑州，今后的开心麻花可以考虑引入加强在中部地区的宣传。
主要城市评分
我们按照打分从高到底对城市进行排序
在评论数量最多的二十个城市中，评分前七名的城市中东北独占四席，而分数相对较低的城市中武汉、合肥、郑州都属于中部地区，可见不同地区的观众对影评的认可程度有着一定差异。
城市打分情况映射到地图
我们把城市打分情况投射到地图中：（红色表示打分较高，蓝色表示较低）
城市划分区域「 较高 OR 较低 」
进一步，我们把城市划分为评分较高和较低两部分
较高区域
较低区域
可以看到对于“西红柿”，南北方观众的评价存在一定差异，这与每年春晚各个地区收视率似乎有一些吻合知乎。沈腾本身也是春晚的常客，电影中自然会带一些“春晚小品味”，这似乎可以一定程度上解释我们得到的结果。
生成评论词云
看过了评分，我们看一下评论生成的词云图，以下分别是原图和据此绘制的词云图
不知道大家的想法如何，至少在我看到了这样的词云，搞笑、笑点、值得、开心、不错，甚至是哈哈都会激起我强烈的看片欲望。同时，沈腾也被大家反复提起多次，可以预见其在片中有着非常不错的表演，也会一定程度上激发大家看片的欲望。
代码示例
热力图
tomato_com = pd.read_excel('西虹市首富.xlsx')
grouped=tomato_com.groupby(['city'])
grouped_pct=grouped['score']
#tip_pct列
city_com = grouped_pct.agg(['mean','count'])
city_com.reset_index(inplace=True)
city_com['mean'] = round(city_com['mean'],2)
data=[(city_com['city'][i],city_com['count'][i])
for i in range(0,
city_com.shape[0])]
geo = Geo('《西虹市首富》全国热力图', title_color="#fff",
title_pos="center", width=1200,
height=600, background_color='#404a59')
attr, value = geo.cast(data)
geo.add("", attr, value, type="heatmap", visual_range=[0, 200],visual_text_color="#fff",
symbol_size=10, is_visualmap=True,is_roam=False)
geo.render('西虹市首富全国热力图.html')折线图+柱形图组合
city_main = city_com.sort_values('count',ascending=False)[0:20]
attr = city_main['city']
v1=city_main['count']
v2=city_main['mean']
line = Line("主要城市评分")
line.add("城市", attr, v2,
is_stack=True,xaxis_rotate=30,
yaxis_min=4.2,mark_point['min','max'],
xaxis_interval=0,line_color='lightblue',
line_width=4, mark_point_textcolor='black',
mark_point_color='lightblue',
is_splitline_show=False)
bar = Bar("主要城市评论数")
bar.add("城市", attr, v1, is_stack=True,xaxis_rotate=30,yaxis_min=4.2,
xaxis_interval =0,is_splitline_show=False)
overlap = Overlap()
# 默认不新增 x y 轴，并且 x y 轴的索引都为 0
overlap.add(bar)
overlap.add(line, yaxis_index=1, is_add_yaxis=True)
overlap.render('主要城市评论数_平均分.html')词云
tomato_str = ' '.join(tomato_com['comment'])
words_list = []
word_generator = jieba.cut_for_search(tomato_str)
for word in word_generator:
words_list.append(word)
words_list = [k for k in words_list if len(k)>1]
back_color = imread('西红柿.jpg')
# 解析该图片
wc = WordCloud(background_color='white',
# 背景颜色
max_words=200,
# 最大词数
mask=back_color,
# 以该参数值作图绘制词云，这个参数不为空时，width和height会被忽略
max_font_size=300,
# 显示字体的最大值
stopwords=STOPWORDS.add('苟利国'),
# 使用内置的屏蔽词，再添加'苟利国'
font_path="C:/Windows/Fonts/STFANGSO.ttf",
random_state=42,
# 为每个词返回一个PIL颜色
# width=1000, # 图片的宽
# height=860 #图片的长
)
tomato_count = Counter(words_list)
wc.generate_from_frequencies(tomato_count)
# 基于彩色图像生成相应彩色
image_colors = ImageColorGenerator(back_color)
# 绘制词云
plt.figure()
plt.imshow(wc.recolor(color_func=image_colors))
plt.axis('off')