这个我们经常会用,当我们发现某个变量的缺失率太高的时候,我们会直接对其进行删除操作,又或者说某一行我不想要了,想单独删除这一行数据,这个我们该怎么处理呢?这里介绍一个方法,DataFrame.dropna(),具体可以看下图:
从方法介绍可以看出,我们可以指定 axis
的值,如果是0,那就是按照行去进行空值删除,如果是1则是按照列去进行操作,默认是0。
同时,还有一个参数是how
,就是选择删除的条件,如果是 any
则是如果存在一个空值,则这行(列)的数据都会被删除,如果是 all
的话,只有当这行(列)全部的变量值为空才会被删除,默认的话都是any
。
好了,举几个栗子,我们还是用climate数据集:
# 引入数据集
import pandas as pd
climate = pd.read_csv('./data/GlobalLandTemperaturesByCity.csv')
# 保留一部分列
data = climate.loc[:,['dt','AverageTemperature','AverageTemperatureUncertainty','City']]
data.head()
# 查看有多少缺失值
print(data.isnull().sum())
print('\n')
# 查看缺失值占比
print(data.isnull().sum()/len(data))
删除操作
# 原始模样
print(data.head())
print('\n')
# 默认参数axis=0,根据索引(index)删除指定的行,删除第0行数据
print(data.drop(0).head())
print('\n')
# axis=1,根据列名(columns)删除指定的列,删除'dt'列
print(data.drop('dt',axis=1).head())
print('\n')
# 移除含有缺失值的行,直接结果作为新df
data.dropna(axis=0, inplace=True)