Pandas清洗数据的4个实用小技巧

大家好，欢迎来到 Crossin的编程教室 ！

pandas 是做数据分析时的必备库。在数据分析之前，我们往往需要对数据的大小、内容、格式做一定处理，去掉无效值和缺失值，保持结构统一，使其便于之后的分析。这一过程被称作“数据清洗”。

今天我们就来分享几个Pandas在做数据清洗时的小技巧，内容不长，但很实用。

1. 读取时抽样 1%

对于动辄就几十或几百个 G 的数据，在读取这么大数据时，有没有办法随机选取一小部分数据，然后读入内存，快速了解数据和开展 EDA ？

使用 Pandas 的 skiprows 和 概率知识，就能做到。

下面解释具体怎么做。

如下所示，读取某 100 G 大小的 big_data.csv 数据

言外之意，只有全部数据的 1% 才有机会选入内存中。

使用这种方法，读取的数据量迅速缩减到原来的 1% ，对于迅速展开数据分析有一定的帮助。

2. replace 做清洗

清洗数据时，少不了要对数据内容进行查找替换。

这里有一个快速清洗数据的小技巧，在某列上使用 replace 方法和正则，快速完成值的清洗。

源数据：

打印结果：

看到 sales 列的值，有整型，浮点型+RMB后变为字符串型，还有美元+整型，美元+浮点型。

我们的目标：清洗掉 ， 符号，转化这一列为浮点型。

一行代码搞定：（点击代码区域，向右滑动，查看完整代码）

使用正则替换，将要替换的字符放到列表中 ，替换为空字符，即 ；

最后使用 转为 float

打印结果：

Done ~

如果不放心，再检查下值的类型：

打印结果：

3. 宽 DF 变长

为什么需要宽 DF 变长 ?

构造一个 DataFrame：

打印结果：

5.2 表示 12345 区域的 价格，并且 , , ，这三列都是一种水果，那么如何把这三列合并为一列？

使用 pd.melt

具体参数取值，大家根据此例去推敲：

打印结果：

以上就是长 DataFrame，对应的原 DataFrame 是宽 DF.

看明白了吗？

4. 转 datetime

告诉 year（年份）和 dayofyear（一年中的第几天），怎么转 datetime?

原 DataFrame

打印结果：

转 datetime 的 trick。

Step 1: 创建整数

打印结果：

Step 2: to_datetime

注意 "%Y%j" 中转化格式 j

打印结果：

以上就是 Pandas 做数据清洗的4个 小技巧。