前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Python爬取英雄联盟职业比赛数据

Python爬取英雄联盟职业比赛数据

作者头像
老肥码码码
发布2020-01-17 15:28:49
1.6K0
发布2020-01-17 15:28:49
举报
文章被收录于专栏:算法与数据之美

点击上方“算法与数据之美”,选择“置顶公众号”

更多精彩等你来!

英雄联盟全球总决赛的脚步近了,代表LPL出征S9的三支战队也已蓄势待发,经常看英雄联盟比赛的我也是非常期待 FPX、RNG、IG 的精彩表现。我想找找网上有没有公开的比赛数据,兴许还能分析一波,看看这S9冠军最有可能花落谁家。

功夫不负有心人,我很快就通过搜索引擎找到了含有国内外英雄联盟赛事的网站,喏,就是下面这个。

在这个网站上,我们能够看到不同赛区的不同赛季的比赛信息,以及各种世界赛的数据信息,包含选手数据和队伍数据。

打开开发者工具,观察一下这个网站,很容易就发现了包含职业选手信息的页面。

观察其Headers,发现是GET请求,Requests URL 如下,

https://data.pentaq.com/business_api/2018may/tournament_player_duty_data

,访问该链接需要携带参数 tour 和 patch 。从命名就可以看出,tour 是tournament的简写,patch 是版本号,版本号可以不加入参数,以抓取所有版本的联赛数据。

那么这个 tour 参数如何获得呢?继续观察 Network ,发现了下图这个 tournament_list 。

各个联赛的id号数据可以通过这个页面来获取,而这个id号正是我们需要的 tour 参数。

得到了所有的参数信息后,我们便可以使用 requests 来模拟浏览器发出请求,并获取页面的json数据,并一一提取存入MongoDB数据库。运用同样的方法,我们也可以获得各个职业战队的数据。

总的来说这是一个入门级别的爬虫,网站没有采取反爬措施,对新手相当友好。职业选手的数据包含26个数据维度,包含击杀、出场次数、场均参战率、伤害转化率等一系列数据;职业战队的数据包含血腥程度、分均伤害、场均时长、一血率等25个数据维度。想必会是非常不错的数据分析素材。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2019-09-20,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 算法与数据之美 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
云数据库 MongoDB
腾讯云数据库 MongoDB(TencentDB for MongoDB)是腾讯云基于全球广受欢迎的 MongoDB 打造的高性能 NoSQL 数据库,100%完全兼容 MongoDB 协议,支持跨文档事务,提供稳定丰富的监控管理,弹性可扩展、自动容灾,适用于文档型数据库场景,您无需自建灾备体系及控制管理系统。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档