pandas每天一题-题目5：统计空值数量也有多种实现方式

这是一个关于 pandas 从基础到进阶的练习题系列，来源于 github 上的 guipsamora/pandas_exercises 。这个项目从基础到进阶，可以检验你有多么了解 pandas。

我会挑选一些题目，并且提供比原题库更多的解决方法以及更详尽的解析。

计划每天更新一期，希望各位小伙伴先自行思考，再查看答案。如果对你有帮助，记得转发推荐给你的好友！

上期文章：pandas每天一题-题目4：原来查找top n记录也有这种方式

后台回复"数据"，可以下载本题数据集

如下数据：

数据描述：

• 此数据是订单明细表。一个订单会包含很多明细项，表中每个样本(每一行)表示一个明细项
• order_id 列存在重复
• quantity 是明细项数量

需求：请列出每一列的缺失值、缺失百分比。

下面是答案了

方式1

df.info()

• df.info() 可以列出数据集整体信息
• 但是这个信息太杂乱，并不适合本需求

方式2

首先我们知道 Series(一列) 有 isna 方法，返回每个单元格是否为空：

df['item_price'].isna()

• 返回结果仍然是一个 Series(一列)
• Python 中 True 是1，False 是0

只需要这基础上求和，即可得到 na 的数量：

df['item_price'].isna().sum()

因此，只需要遍历每一列做同样的步骤即可：

df.apply(
    lambda col: col.isna().sum(), 
    axis=0)

• 行1：df.apply 用于遍历行或列
• 行3：参数 axis=0 ，遍历列
• 行2：因此，col 参数为每一列(Series)

现在，很容易整理成表格：

na_count = df.apply(
    lambda col: col.isna().sum(), 
    axis=0)
na_count.name = 'na数量'

na_percents= na_count / len(df)
na_percents.name = 'na占比'

pd.concat([na_count,na_percents],axis=1)

• 行4：Series 有一个 name 属性，当他转成表格时(DataFrame)，这个值就会成为列名
• 行6：上一步结果除以记录数，即可得到占比
• 行9：把2个 Series 合并，因为是横向合并，设置参数 axis=1

方式3

上一步用到 concat 稍显复杂，有没有常规操作就能做到？

首先，一个列可以直接转成表格：

na_count = df.apply(
    lambda col: col.isna().sum(), 
    axis=0)

na_count.to_frame('na数量')

• 行5：Series.to_frame 即可转 DataFrame，第一个参数还可以设置列名

有了表格，接下来就简单多了：

na_count = df.apply(
    lambda col: col.isna().sum(), 
    axis=0)

res = na_count.to_frame('na数量')
res['占比'] = res['na数量'] / len(df)
res

• 行6：常规操作，不存在的列名赋值，表示新增列

推荐阅读：

Python干货，不用再死记硬背pandas关于轴的概念？