专栏首页机器学习与统计学COVID-19数据分析实战:统计分析及可视化

COVID-19数据分析实战:统计分析及可视化

前言

第一篇文章第二篇文章我们对line list 数据集进行清洗,以及对文本内容进行词云分析。

本文中我们将要对主要的数据集covid_19_data.csv进行清洗和分析。这个数据集包含了所有受影响的国家的确诊,死亡,治愈人数的统计信息。有一些国家,比如中国,美国,意大利等受疫情影响比较大的国家还有各个省/州的详细信息。

一如既往,问题优先。今天我们简单回答两个问题:

  • 截止到最近的一天,各个国家的情况如何?我们可以关注前30名。
  • 前30名国家的战疫历史趋势如何?

导入数据

首先导入一些包,其中有两个不常见的函数模块,后续我们会涉及到。

from datetime import datetime
import matplotlib.pyplot as plt
import pandas as pd
from labellines import labelLines
from matplotlib.dates import date2num

读取数据,输出主要信息,这点和前几篇文章的思路一致。我们的目的就是养成一些成熟的分析数据的“套路”。

covid19_data_file = 'data/COVID_19_data.csv'
covid19_data_df = pd.read_csv(covid19_data_file)

# get numeric statistics
print(covid19_data_df.info())

数据集不大,只有1.5M,因为包含的信息不多。只有简单的confirmed,deaths,recovered信息。我们看到有一些Province/State 值缺失。

RangeIndex: 24451 entries, 0 to 24450
Data columns (total 8 columns):
 #   Column           Non-Null Count  Dtype
---  ------           --------------  -----
 0   SNo              24451 non-null  int64
 1   ObservationDate  24451 non-null  object
 2   Province/State   11706 non-null  object
 3   Country/Region   24451 non-null  object
 4   Last Update      24451 non-null  object
 5   Confirmed        24451 non-null  float64
 6   Deaths           24451 non-null  float64
 7   Recovered        24451 non-null  float64
dtypes: float64(3), int64(1), object(4)
memory usage: 1.5+ MB

清理省份/州的信息

输出前10条数据,我们可以看到中国的一些省份的具体信息作为样本出现在数据集中,这对于我们分析数据造成混乱。因为我们要分析的国家的信息,所以需要对数据进行处理。

print(covid19_data_df.head(10))
   SNo ObservationDate Province/State  ... Confirmed Deaths  Recovered
0    1      01/22/2020          Anhui  ...       1.0    0.0        0.0
1    2      01/22/2020        Beijing  ...      14.0    0.0        0.0
2    3      01/22/2020      Chongqing  ...       6.0    0.0        0.0
3    4      01/22/2020         Fujian  ...       1.0    0.0        0.0
4    5      01/22/2020          Gansu  ...       0.0    0.0        0.0
5    6      01/22/2020      Guangdong  ...      26.0    0.0        0.0
6    7      01/22/2020        Guangxi  ...       2.0    0.0        0.0
7    8      01/22/2020        Guizhou  ...       1.0    0.0        0.0
8    9      01/22/2020         Hainan  ...       4.0    0.0        0.0
9   10      01/22/2020          Hebei  ...       1.0    0.0        0.0
[10 rows x 8 columns]

思路很简单,我们需要将各个省份的每天的数据累加作为中国的当天的数据,对于其他国家,如果有具体的省份数据而不是国家的总和树,我们也是如此操作。datframe 提供的groupby函数 就是专门做aggreate的。我们需要对每天同个国家的所有条目进行求和。groupby的结果是一个MultiIndex 的新Dataframe。我们可以直接调用reset_index 将其转换成两列。打印新数据,可以看到Mainland China 的数据为535。

covid19_country_rows_df = covid19_data_df.groupby(
    ['ObservationDate', 'Country/Region']).sum()
print(covid19_country_rows_df.index)
covid19_country_rows_df.reset_index(
    inplace=True)  # split the index to two columns
print(covid19_country_rows_df.head(5))

MultiIndex([('01/22/2020',            'Hong Kong'),
            ('01/22/2020',                'Japan'),
            ('01/22/2020',                'Macau'),
            ('01/22/2020',       'Mainland China'),
            ('01/22/2020',          'South Korea'),
            ('01/22/2020',               'Taiwan'),
            ('01/22/2020',             'Thailand'),
            ('01/22/2020',                   'US'),
            ('01/23/2020',            'Australia'),
            ('01/23/2020',               'Brazil'),
            ...
            ('05/13/2020', 'United Arab Emirates'),
  ObservationDate  Country/Region  SNo  Confirmed  Deaths  Recovered
0      01/22/2020       Hong Kong   13        0.0     0.0        0.0
1      01/22/2020           Japan   36        2.0     0.0        0.0
2      01/22/2020           Macau   21        1.0     0.0        0.0
3      01/22/2020  Mainland China  535      547.0    17.0       28.0
4      01/22/2020     South Korea   38        1.0     0.0        0.0

重新布局数据

现有的数据布局并不是很理想,因为ObservationDate 是一列,这一列中有很多相同的日期,不方便分析。我们需要想办法重新布局,一个好的布局方式是日期作为一个维度,国家作为另一个维度,交叉处为我们要观测的数据,比如确诊数目(Confirmed)。

解决思路是采用pandas 的pivot_table 函数。这里列出关键的参数,index 是我们最终作为row 的index的数据,columns 是我们想把源数据中哪一列的作为新数据的列(很多列)。value是我们观测的值。为了方便调用,我这里写了一个函数来进行数据转换和分析。我们转换3个透视表,然后对于每个透视表取最后一行,也就是最新的日期。最后我们将3个透视表的最新日期的数据都统一到一个数据中。

def analyze_latest_day(data, top_k=30, sort_by='Deaths',plot_type=None):
    cols = ['Confirmed', 'Deaths', 'Recovered']
    latest_day_all_data = pd.DataFrame([])
    for col in cols:
        all_cols_data = pd.pivot_table(
            data,
            index='ObservationDate',
            columns='Country/Region',
            values=col,
            fill_value=0)
        latest_day_col_data = all_cols_data.iloc[-1, :]
        latest_day_all_data[col] = latest_day_col_data
#### 未完

接下来我们直接plot latest_day_all_data的数据,采用柱状图。这里有几个tips:

  • 我们只plot 前top_k 个国家的数据,这样图画更有条理
  • 我们对'Confirmed', 'Deaths', 'Recovered'分别标识为特定的颜色,比如confirmed 橘色(警告色),deaths 黑色(庄重色),recovered(绿色)
  • 颜色代码可以从网站轻易copy
# 包含在analyze_latest_day函数中
        latest_day_all_data = latest_day_all_data.sort_values(
            by=sort_by, ascending=False)
        ax = latest_day_all_data.iloc[0:top_k].plot(kind='bar', stacked=False,title='Latest day data Statistics',color = ['#fcbf49', '#03071e', '#02c39a'])
        plt.show()

不得不说,这个图画还不错,但是略显紧凑。每个国家对应三根柱子,x坐标略显拥挤。

改进柱状图

很容易我们就想到使用stack类型的柱状图。但是我们不能轻易的把confirmed,deaths 和recovered 堆叠再一起,这样实际意义没有参考性。所以我们需要对数据进行简单处理,用Unrecovered 来取代Confirmed的信息。

# 包含在analyze_latest_day函数中
        latest_day_all_data['Unrecovered'] = latest_day_all_data['Confirmed'] - \
            latest_day_all_data['Deaths'] - latest_day_all_data['Recovered']
        latest_day_all_data = latest_day_all_data.sort_values(
            by=sort_by, ascending=False)
        latest_day_all_data.drop('Confirmed', axis=1, inplace=True)
        ax = latest_day_all_data.iloc[0:top_k].plot(kind='bar',stacked=True,title='Latest day data Statistics',color = ['#03071e', '#02c39a', '#fcbf49'])
        plt.show()

柱子明显粗了,而且多了一个信息量(unrecovered/未痊愈/治疗中)。

这样其实我们第一个问题就有了答案,最近的一天的国家数据一目了然。画面中top_k是按照Confirmed 排序的,我们也可以按照Recovered 排序。

各个国家时间线分析

接下来我们来分析一下各个国家确诊数据的历史信息。前文已经提到我们可以通过pivot_table重新布局数据,这里我们先整理出top_k国家的数据。

    covid19_country_cols_df = pd.pivot_table(
        data,
        index='ObservationDate',
        columns='Country/Region',
        values=col,
        fill_value=0)
    latest_day_col_data = covid19_country_cols_df.iloc[-1, :]
    latest_day_col_data = latest_day_col_data.sort_values(
        ascending=False)
    top_counties = list(latest_day_col_data.index)[0:top_k]
    top_counties.reverse()  # reverse to add label

    top_k_country_df = covid19_country_cols_df[top_counties]

采用dataframe的plot函数直接预览。

        ax =top_k_country_df.plot(kind='line')
        ax.set_xlabel('date')
        ax.set_ylabel('number of cases')
        ax.set_title(f'number of {col} cases')
        plt.show()

画面看着不错,颜色绚烂。但是无法看到哪个国家对应哪个颜色。而且美国(绿色)的扶摇直上,一骑绝尘,其他国家却挤在画面的底部。

下面我们考虑如何进行改善。

  • 国家分类太多,我们可不可以让标签靠近每个曲线
  • 可以让y轴分布更弹性化
  • x轴前半部分很单调,因为2月初只有中国和几个亚洲国家在苦苦挣扎,我们可以怎么优化?

inline标签

我们想把标签放在曲线上,这里我们提供两种方法,第一个中较为推荐。采用一个有用的包labellines,可以解决这个问题。调用函数labelLines即可,其中参数xvals 用于设置标签放置位置的起止位置。对于x轴为时间轴的数据,需要输入datetime格式。参考以下代码可以少入坑。

对于y轴的压缩我们可以直接用log scale。

      fig, ax = plt.subplots()
        # create x axis label
        time_x = pd.Series(
            pd.to_datetime(
                top_k_country_df.index)).dt.to_pydatetime()
        for col in top_counties:
            ax.plot(time_x, top_k_country_df[col], label=str(col))
        ax.set_yscale('log')
        ax.set_xlabel('date')
        ax.set_ylabel('number of cases')
        ax.set_title(f'number of {col} cases')
        labelLines(
            plt.gca().get_lines(), xvals=(
                date2num(
                    datetime(
                        2020, 3, 10)), date2num(
                            datetime(
                                2020, 5, 13))))
        plt.show()

看起来比刚才的要人性化一点,标签都列在曲线上,并且采用同样的颜色,看起来很像trajectory (弹道)。

压缩X轴

很多国家都是后来才加入到抗病毒的战争中,我们可以考虑将x轴变成“加入战斗”的时间。定义加入战斗可以从确诊数为0开始。我们这里定义为确诊从100 开始,因为最开始大多数国家都是零星的输入型案例。参考一下代码,我们对于每个国家都只保留确诊数据大于100的数据。

        start_num = 100
        new_start_df = pd.DataFrame([])
        for col in top_counties:
            new_start_col = top_k_country_df[top_k_country_df[col] > start_num][col].reset_index(drop=True)
            new_start_df[col] = new_start_col

对于plot,我们不做多的修改,仅仅在线条的末端加上一个箭头,使其更像弹道(rajectory)。

        # check each country increase after 100 confirmed
        start_num = 100
        new_start_df = pd.DataFrame([])
        for col in top_counties:
            new_start_col = top_k_country_df[top_k_country_df[col] > start_num][col].reset_index(drop=True)
            new_start_df[col] = new_start_col
        fig, ax = plt.subplots()
        for col in top_counties:
            plt.plot(new_start_df[col], label=str(col),marker = '>',markevery=[-1])
        ax.set_yscale('symlog')
        ax.set_xlabel('days after first 100 cases')
        ax.set_ylabel('number of cases')
        ax.set_title(f'number of {col} cases')
        labelLines(plt.gca().get_lines(), xvals=(5, 35))
        plt.show()

这个图看起来更不错了,这样我们可以清晰的看到各个国家的确诊曲线。

同样的,我们可以画出death 和recovered的曲线。

bonus:尾部标签

其实,我们可以使用matplotlib库,进行曲线尾部标注(或者任意位置)。思路就是对plot特定的位置添加text。代码与效果如下:

        start_num = 100
        new_start_df = pd.DataFrame([])
        for c in top_counties:
            new_start_col = top_k_country_df[top_k_country_df[c] > start_num][c].reset_index(drop=True)
            new_start_df[c] = new_start_col
        fig, ax = plt.subplots()
        for c in top_counties:
            ax.plot(new_start_df[c], label=str(c))
        max_value = new_start_df.max()
        max_index = new_start_df.idxmax()
        for index, value, name in zip(
            max_index.values, max_value.values, list(
                max_value.index)):
            ax.text(
                index+0.5,
                value,
                name,
                size=10,
                ha='left',
                va='center')
            # ax.text(
            #     index+5.5,
            #     value+3,
            #     f'{value:,.0f}',
            #     size=10,
            #     ha='left',
            #     va='center')
        ax.set_yscale('symlog')
        ax.set_xlabel('days after first 100 cases')
        ax.set_ylabel('number of cases')
        ax.set_title(f'number of {col} cases')
        plt.show()

总结

本文接着对COVID19的数据集进行了可视化分析。文中主要介绍了一些数据变形的方法,包括groupy和pivot_table 两大利器的用法。接着我们细致的解决了一些可视化图画中的细节问题,让我们的画面更加友好。比如:

  • stack类型的柱状图,颜色,数据选取
  • lineplot x轴起始位置的选取
  • y轴的缩放
  • inline(线内)标签
  • 尾端marker 所有的努力就是为了让画面更清晰的反映更多的信息。

当然了,如果需要进行交互式的查看各个国家的数据,Plotly 必然是更好的选择。

作者:琥珀里有波罗的海

https://juejin.im/post/5ec191b1e51d454dca71174f

本文分享自微信公众号 - 机器学习与统计学(tjxj666),作者:琥珀里有波罗的海

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-05-21

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • TensorFlow2.0(6):利用data模块进行数据预处理

    在整个机器学习过程中,除了训练模型外,应该就属数据预处理过程消耗的精力最多,数据预处理过程需要完成的任务包括数据读取、过滤、转换等等。为了将用户从繁杂的预处理操...

    统计学家
  • 决策树(Decision Tree)ID3算法

    决策树是一个预测模型;他代表的是对象属性与对象值之间的一种映射关系。树中每个节点表示某个对象,而每个分叉路径则代表的某个可能的属性值,而每个叶结点则对应从根节点...

    统计学家
  • 8个用于数据清洗的Python代码

    数据清洗,是进行数据分析和使用数据训练模型的必经之路,也是最耗费数据科学家/程序员精力的地方。

    统计学家
  • textgcn

    论文:Graph Convolutional Networks for Text Classification. Liang Yao, Chengsheng M...

    opprash
  • 微信小程序|CSS的内边距和圆框

    在制作小程序的时候会经常用到浮动来设计各种组件的排版,微信小程序对排版的要求很高。光有浮动是远远不够的,如果一个板块内的组件过多就会变得混乱。所以就需要用设置内...

    算法与编程之美
  • Git冲突:commit your changes or stash them before you can merge.

    abort出现的原因:本地代码和远程代码起了冲突,git无法合并在一个文件中的不同修改。

    zhangheng
  • 你的DevOps中有完善的持续交付体系么?

    DevOps已经成为软件开发领域一个炙手可热的名词。敏捷开发、持续交付、CI/CD,K8s…这些主流的开发理念、工具无一例外都与DevOps有着很强的联系。这种...

    JFrog杰蛙科技
  • 长文:一文掌握Pandas

    Pandas是Python数据科学生态中重要的基础成员,功能强大,用法灵活,简单记录之。

    用户2183996
  • 红帽金融行业 DevOps 案例分享

    大家好,我会从偏行业角度来谈一下DevOps在金融行业去落地的时候会遇到的一些问题。

    DevOps时代
  • 几何变换--图像裁剪

    几何变换包括:缩放、旋转、平移等。这些变换一般用于校正图像处理引起的空间失真,或者通过将图像配准到一个预定义的坐标系统中用于规范化该图像(例如,将一幅航拍图像配...

    FPGA开源工作室

扫码关注云+社区

领取腾讯云代金券