python简单分析《一出好戏》,黄渤导演处女作

平时最爱黄渤,智商情商双高,作品幽默又搞笑,为人也很随和。

吧啦吧啦,此处省略2万字。。。无奈,不善言辞,请原谅)

我们简单看一下他的处女导演做品:《一出好戏》
一出好戏

数据来源:猫眼app 网站上拿不到数据,只能从app获取

## 设置headers和cookie
header = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win32; x32; rv:54.0) Gecko/20100101 Firefox/54.0',
      'Connection': 'keep-alive'}
cookies = 'v=3; iuuid=1A6E888B4A4B29B16FBA1299108DBE9CDCB327A9713C232B36E4DB4FF222CF03; webp=true; ci=1%2C%E5%8C%97%E4%BA%AC; __guid=26581345.3954606544145667000.1530879049181.8303; _lxsdk_cuid=1646f808301c8-0a4e19f5421593-5d4e211f-100200-1646f808302c8; _lxsdk=1A6E888B4A4B29B16FBA1299108DBE9CDCB327A9713C232B36E4DB4FF222CF03; monitor_count=1; _lxsdk_s=16472ee89ec-de2-f91-ed0%7C%7C5; __mta=189118996.1530879050545.1530936763555.1530937843742.18'
cookie = {}
for line in cookies.split(';'):
    name, value = cookies.strip().split('=', 1)
    cookie[name] = value

## 爬取数据,每次理论上可以爬取1.5W调数据,存在大量重复数据,需要多次执行,最后统一去重
tomato = pd.DataFrame(columns=['userId', 'nickName', 'date', 'score', 'city', 'comment'])
for i in range(0, 1000):
    j = random.randint(1, 1000)
    print(str(i) + ' ' + str(j))
    try:
        time.sleep(2)
        url = 'http://m.maoyan.com/mmdb/comments/movie/1203084.json?_v_=yes&offset=' + str(j)
        html = requests.get(url=url, cookies=cookie, headers=header).content
        data = json.loads(html.decode('utf-8'))['cmts']
        for item in data:
            tomato = tomato.append({'userId':item['userId'] , 'nickName':item['nickName'], 'date': item['time'].split(' ')[0], 'city': item['cityName'],
                                'score': item['score'], 'comment': item['content']}, ignore_index=True)

        tomato.to_excel('./一出好戏.xlsx', index=False)
    except:
        continue

获取的评论信息,你也可以修改一下电影的ID,获取你想要的电影的数据。

我这里获取的主要信息有:用户ID,昵称,日期,评分,城市,评论内容

因为获取的用户数据会有重复数据,所以我用userId来进行去重操作

去重操作

# 根据userId进行去重, 获取去重后的真实数据
data = csvFrame.drop_duplicates(['userId'])

目标:获取全国各个城市的平均评分和对电影的热爱程度

接下来就是对数据进行过滤,筛选

  # 1、查看是否有缺省参数,如果有直接删除该条数据

然后我们按城市分组,发现有很多城市的数据只有1,2条,这些数据太少不足以代表改城市,所有我们选出 >10 条数据的城市

# 根据城市进行分组
cityGroup = data.groupby("city")

# 评分人数 > 10的方为有效评分城市
countInfo = cityGroup.count()
data2 = countInfo[countInfo['userId']>10]

获取城市的评分

 # # 真实数据根据城市进行分组
    cityGroup2 = frame.groupby("city")
    cityScores = cityGroup2['score']

    # 获得城市的平均分 和 观看人数
    city_com = cityScores.agg(['mean', 'count'])
    citys = city_com.index
    city_mean = city_com["mean"].values
    city_count = city_com["count"].values

    # 对打分数据进行优化处理,保留两位小数
    city_mean = np.array(city_mean)
    city_score = np.round(city_mean, 2)

接下来就是对数据进行可视化展示:

# 主城市打分柱状图
bar = Bar("《一出好戏》部分城市评分", "猫眼均分")
bar.add("Score", citys, city_score)
bar.show_config()
bar.render(path="./signs/评分柱状图.html")
评分柱状图

全国观看热力图

geo = Geo('《一出好戏》观众分布图', title_color="#fff",
      title_pos="center", width=1200, height=600,     background_color='#404a59')
geo.add("", citys, city_count, type='heatmap', visual_range=[0, 35],
    visual_text_color="#fff", symbol_size=10, is_visualmap=True,
    is_roam=False)
geo.render('./signs/观众分布图.html')
观众分布

观看占比

pie = Pie()
pie.add("", citys, city_count, is_label_show=True)
pie.render(path="./signs/观众占比饼图.html")
观看占比.png

绘制词云

对中文分词用的是jieba,词频统计用的是TD-IDF

最后选出出现次数最多的前100个关键词,也可以选择大于指定阀值

# 大于指定数值
# print(ser[ser.values > 0.05])
# 排序,选择前n个
ser2 = ser.sort_values(ascending=False)
# 获取排名靠前的100个单词
worlds = ser2[0:100].index
注意点:在过滤关键词时,可以选择国内指定的停用统计词,这里之所有没有使用,是因为对电影的评价的词在停用词库中,如:一般
关键词.png

关注公众号:Python疯子 后台回复: 一出好戏 获取源代码

分享最实用的Python功能,下期分享 地图功能

公众号:Python疯子

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏DT数据侠

地铁故障频发,看数据如何找到肇事元凶

轨道交通事故频发,但真正原因却不得而知。本文数据侠通过科学的数据分析,为我们提供了更多排查方法,一起来涨涨姿势吧~

11500
来自专栏黒之染开发日记

exif信息对照

因为找不到一个完整的exif的key对照表,所以自己写一个吧,以下的key不是exif的全部,是iPhone自带像机拍摄的全部exif信息,方便大家万一有需求。

25320
来自专栏Android机动车

Android用MediaExtractor和MediaMuxer合成音视频

最近在做类似小咖秀的视频录制功能,也就是俗称的对嘴型表演,录制视频我用的是三方SDK,但是视频合成就需要自己搞了,在网上搜了挺多资料,国内国外网站看了不少,踩了...

28330
来自专栏域名资讯

“表情包”火爆全球,域名emojis.com小六位易主

  2017年8月,有米友爆料,一枚“表情包”相关域名emojis.com拍出了26100美元(约合人民币17.5万元)的价格。

22370
来自专栏算法+

WebRTC 音频采样算法 附完整C++示例代码

之前有大概介绍了音频采样相关的思路,详情见《简洁明了的插值音频重采样算法例子 (附完整C代码)》。 音频方面的开源项目很多很多。 最知名的莫过于谷歌开源的Web...

1.4K60
来自专栏大数据文摘

小白学数据 | 28张小抄表大放送:Python,R,大数据,机器学习

20220
来自专栏大数据文摘

不幸的人各有不幸吗?文本分析流浪汉乞讨标语牌后发现的套路(附代码)

24760
来自专栏Vamei实验室

绘图: matplotlib Basemap简介

在数据可视化过程中,我们常常需要将数据根据其采集的地理位置在地图上显示出来。比如说我们会想要在地图上画出城市,飞机的航线,乃至于军事基地等等。通常来说,一个地理...

52850
来自专栏量子位

癌细胞检测,只要0.0758秒 | 谷歌AR+AI显微镜问世

病理学家们要想从一团密密麻麻的组织细胞里,找到空间排列奇怪,细胞核形状诡异的癌细胞,就得守在显微镜后头,一张一张活检切片看过去,看到天荒地老,海枯石烂。

10930
来自专栏大数据挖掘DT机器学习

【案例】电商数据挖掘:牛奶搭配销售关联算法

在数据挖掘过程中,由于数据存在分散性和偶然性,因而在底层的数据关联上很难准确挖掘出强关联规则,进而也很难为我们决策提供参考。通常的解决的方案通常是引...

42150

扫码关注云+社区

领取腾讯云代金券