前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >【爬虫+可视化】Python爬取疫情数据,并做可视化展示

【爬虫+可视化】Python爬取疫情数据,并做可视化展示

作者头像
松鼠爱吃饼干
发布2021-12-10 11:41:58
2.1K0
发布2021-12-10 11:41:58
举报
文章被收录于专栏:Python分享Python分享

知识点

  1. 爬虫基本流程
  2. json
  3. requests 爬虫当中 发送网络请求
  4. pandas 表格处理 / 保存数据
  5. pyecharts 可视化

开发环境

  • python 3.8 比较稳定版本 解释器发行版 anaconda jupyter notebook 里面写数据分析代码 专业性
  • pycharm 专业代码编辑器 按照年份与月份划分版本的

爬虫完整代码

导入模块

代码语言:javascript
复制
import requests      # 发送网络请求模块
import json
import pprint        # 格式化输出模块
import pandas as pd  # 数据分析当中一个非常重要的模块

分析网站

先找到今天要爬取的目标数据

代码语言:javascript
复制
https://news.qq.com/zt2020/page/feiyan.htm#/

找到数据所在url

发送请求

代码语言:javascript
复制
url = 'https://view.inews.qq.com/g2/getOnsInfo?name=disease_h5&_=1638361138568'
response = requests.get(url, verify=False)

获取数据

代码语言:javascript
复制
json_data = response.json()['data']

解析数据

代码语言:javascript
复制
json_data = json.loads(json_data)
china_data = json_data['areaTree'][0]['children'] # 列表
data_set = []
for i in china_data:
    data_dict = {}
    # 地区名称
    data_dict['province'] = i['name']
    # 新增确认
    data_dict['nowConfirm'] = i['total']['nowConfirm']
    # 死亡人数
    data_dict['dead'] = i['total']['dead']
    # 治愈人数
    data_dict['heal'] = i['total']['heal']
    # 死亡率
    data_dict['deadRate'] = i['total']['deadRate']
    # 治愈率
    data_dict['healRate'] = i['total']['healRate']
    data_set.append(data_dict)

保存数据

代码语言:javascript
复制
df = pd.DataFrame(data_set)
df.to_csv('data.csv')

数据可视化

导入模块

代码语言:javascript
复制
from pyecharts import options as opts
from pyecharts.charts import Bar,Line,Pie,Map,Grid

读取数据

代码语言:javascript
复制
df2 = df.sort_values(by=['nowConfirm'],ascending=False)[:9]
df2

死亡率与治愈率

代码语言:javascript
复制
line = (
    Line()
    .add_xaxis(list(df['province'].values))
    .add_yaxis("治愈率", df['healRate'].values.tolist())
    .add_yaxis("死亡率", df['deadRate'].values.tolist())
    .set_global_opts(
        title_opts=opts.TitleOpts(title="死亡率与治愈率"),

    )
)
line.render_notebook()

各地区确诊人数与死亡人数情况

代码语言:javascript
复制
bar = (
    Bar()
    .add_xaxis(list(df['province'].values)[:6])
    .add_yaxis("死亡", df['dead'].values.tolist()[:6])
    .add_yaxis("治愈", df['heal'].values.tolist()[:6])
    .set_global_opts(
        title_opts=opts.TitleOpts(title="各地区确诊人数与死亡人数情况"),
        datazoom_opts=[opts.DataZoomOpts()],
        )
)
bar.render_notebook()
本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2021-12-09,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 松鼠爱吃饼干 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 知识点
  • 开发环境
    • 导入模块
      • 分析网站
        • 发送请求
          • 获取数据
            • 解析数据
              • 保存数据
              • 数据可视化
                • 导入模块
                  • 读取数据
                    • 死亡率与治愈率
                      • 各地区确诊人数与死亡人数情况
                      领券
                      问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档