首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >豆瓣电影数据分析和可视化

豆瓣电影数据分析和可视化

作者头像
张宏伦
发布2018-06-07 14:45:08
2.7K0
发布2018-06-07 14:45:08
举报
文章被收录于专栏:宏伦工作室宏伦工作室

前一段时间出于个人兴趣做了个小demo,主要内容是以豆瓣电影上提供的电影数据为例,完整地展示网络数据从获取、处理到分析、可视化这一过程。纯当练手,也为感兴趣的小伙伴提供相关的技术介绍。项目代码托管在我的Github上,可视化网站地址请参见文末。

数据获取

用python写爬虫,Scrapy和urllib2都是比较好的选择,由于我对功能的要求比较简单,故选择后者即可。

在豆瓣电影上通过Chrome开发工具找到数据请求API,接下来就可以写代码爬一些电影数据了,我使用的是这两个API:

  1. http://movie.douban.com/j/search_tags?type=movie
  2. http://movie.douban.com/j/search_subjects?type=movie&tag=爱情&page_limit=20&page_start=0

第一个API是获取所有电影的分类即tag,第二个是请求某个tag下偏移为page_start的page_limit条电影数据,包括电影的标题、url、评分等信息。

有了电影的url,再次爬取该页面对应的html内容, 然后用Beautiful Soup解析出想要的字段就好了。最终一共获取了4587条电影记录,每条记录包含以下15个字段:电影ID、标题、链接、缩略图、评分、导演、编剧、演员、分类、上映国家、语言、上映时间、时长、别名和简介。

数据清洗

这一步主要是为了提高数据质量和配合后续的工作,对获取的数据进行一些清洗和预处理工作。比如将字段里多余的空白去掉、将上映时间仅保留年份、将时长处理为以分钟为单位的整数等,下图是同一条电影数据在清洗前后的对比。

数据分析

最基本的分析包括一些统计量的计算,说白了就是固定或以某一个字段分类,对另一个字段进行求和或求平均。我的主要分析字段是电影数量和平均评分,看它们和电影分类、语言、上映国家、上映时间、时长等其他字段之间有何关联。

数据可视化

俗话说,“一图胜千言”,所以数据分析的结果以可视化网站的形式给出。我用Flask搭建了一个简单的网站,用Echarts绘制了一些简单的图标来展示分析的结果,可视化网站地址请参见文末。

网站包含三个子菜单:统计、评分、搜索。“统计”展示了和电影数量相关的分析结果。

“评分”展示了和电影评分相关的分析结果。

“搜索”则提供了一个简单的基于关键词匹配的搜索功能。

总结

这次开发任务主要出于个人兴趣,顺便抛砖引玉地和大家介绍一些基本的方法和技术。网络上可以获取的数据不计其数,只要脑洞开得够大,在数据源、分析技术、可视化方法上进一步提升,就一定可以创造出更有意义和价值的成果。

可视化展示平台:zhanghonglun.cn/data-visualization

如果觉得有趣,那就关注我的微信公众号吧

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2015-12-22,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 宏伦工作室 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
代码托管
CODING 代码托管(CODING Code Repositories,CODING-CR)是为开发者打造的云端便捷代码管理工具,旨在为更多的开发者带去便捷、高效的开发体验,全面支持 Git/SVN 代码托管,包括代码评审、分支管理、超大仓库等功能。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档