Pandas 4 个小 trick，都很实用！

1 读取时抽样 1%

对于动辄就几十或几百个 G 的数据，在读取这么大数据时，有没有办法随机选取一小部分数据，然后读入内存，快速了解数据和开展 EDA ？

使用 Pandas 的 skiprows 和 概率知识，就能做到。

下面解释具体怎么做。

如下所示，读取某 100 G 大小的 big_data.csv 数据

言外之意，只有全部数据的 1% 才有机会选入内存中。

使用这种方法，读取的数据量迅速缩减到原来的 1% ，对于迅速展开数据分析有一定的帮助。

2 replace 做清洗

Pandas 的强项在于数据分析，自然就少不了对数据清洗的支持。

今天学习一个快速清洗数据的小技巧，在某列上使用 replace 方法和正则，快速完成值的清洗。

源数据：

打印结果：

看到 sales 列的值，有整型，浮点型+RMB后变为字符串型，还有美元+整型，美元+浮点型。

我们的目标：清洗掉 ， 符号，转化这一列为浮点型。

一行代码搞定：（点击代码区域，向右滑动，查看完整代码）

使用正则替换，将要替换的字符放到列表中 ，替换为空字符，即 ；

最后使用 转为 float

打印结果：

Done ~

如果不放心，再检查下值的类型：

打印结果：

3 宽 DF 变长

为什么需要宽 DF 变长 ?

构造一个 DataFrame：

打印结果：

5.2 表示 12345 区域的 价格，并且 , , ，这三列都是一种水果，那么如何把这三列合并为一列？

使用 pd.melt

具体参数取值，大家根据此例去推敲：

打印结果：

以上就是长 DataFrame，对应的原 DataFrame 是宽 DF.

看明白吗？

4 转 datetime

告诉年和 dayofyear，怎么转 datetime?

原 DataFrame

打印结果：

转 datetime 的 trick。

Step 1: 创建整数

打印结果：

Step 2: to_datetime

注意 "%Y%j" 中转化格式 j

打印结果：

以上就是 Pandas 做数据分析的 4 个 trick。码字不易，点个在看。