专栏首页Crossin的编程教室Pandas清洗数据的4个实用小技巧

Pandas清洗数据的4个实用小技巧


大家好,欢迎来到 Crossin的编程教室 !

pandas 是做数据分析时的必备库。在数据分析之前,我们往往需要对数据的大小、内容、格式做一定处理,去掉无效值和缺失值,保持结构统一,使其便于之后的分析。这一过程被称作“数据清洗”。

今天我们就来分享几个Pandas在做数据清洗时的小技巧,内容不长,但很实用。

1. 读取时抽样 1%

对于动辄就几十或几百个 G 的数据,在读取这么大数据时,有没有办法随机选取一小部分数据,然后读入内存,快速了解数据和开展 EDA ?

使用 Pandas 的 skiprows 和 概率知识,就能做到。

下面解释具体怎么做。

如下所示,读取某 100 G 大小的 big_data.csv 数据

  1. 使用 skiprows 参数,
  2. x > 0 确保首行读入,
  3. np.random.rand() > 0.01 表示 99% 的数据都会被随机过滤掉

言外之意,只有全部数据的 1% 才有机会选入内存中。

import pandas as pd
import numpy as np
    
df = pd.read_csv("big_data.csv",
skiprows = lambda x: x>0 and 
np.random.rand() > 0.01)

print("The shape of the df is {}.
It has been reduced 100 times!".format(df.shape))

使用这种方法,读取的数据量迅速缩减到原来的 1% ,对于迅速展开数据分析有一定的帮助。

2. replace 做清洗

清洗数据时,少不了要对数据内容进行查找替换。

这里有一个快速清洗数据的小技巧,在某列上使用 replace 方法和正则,快速完成值的清洗。

源数据:

d = {"customer": ["A", "B", "C", "D"],
"sales":[1100, "950.5RMB", "$400", " $1250.75"]}

df = pd.DataFrame(d)
df

打印结果:

customer	sales
0	A	1100
1	B	950.5RMB
2	C	$400
3	D	$1250.75

看到 sales 列的值,有整型,浮点型+RMB后变为字符串型,还有美元+整型,美元+浮点型。

我们的目标:清洗掉 RMB$ 符号,转化这一列为浮点型。

一行代码搞定:(点击代码区域,向右滑动,查看完整代码)

df["sales"] = df["sales"].replace("[$,RMB]", "", regex = True).astype("float")

使用正则替换,将要替换的字符放到列表中 [$,RMB],替换为空字符,即 ""

最后使用 astype 转为 float

打印结果:

customer	sales
0	A	1100.00
1	B	950.50
2	C	400.00
3	D	1250.75

Done ~

如果不放心,再检查下值的类型:

df["sales"].apply(type)

打印结果:

0    <class 'float'>
1    <class 'float'>
2    <class 'float'>
3    <class 'float'>

3. 宽 DF 变长

为什么需要宽 DF 变长 ?

构造一个 DataFrame:

d = {\
"district_code": [12345, 56789, 101112, 131415],
"apple": [5.2, 2.4, 4.2, 3.6],
"banana": [3.5, 1.9, 4.0, 2.3],
"orange": [8.0, 7.5, 6.4, 3.9]
}

df = pd.DataFrame(d)
df

打印结果:

district_code	apple	banana	orange
0	12345	5.2	3.5	8.0
1	56789	2.4	1.9	7.5
2	101112	4.2	4.0	6.4
3	131415	3.6	2.3	3.9

5.2 表示 12345 区域的 apple 价格,并且 apple, banana, orange,这三列都是一种水果,那么如何把这三列合并为一列?

使用 pd.melt

具体参数取值,大家根据此例去推敲:

df = df.melt(\
id_vars = "district_code",
var_name = "fruit_name",
value_name = "price")
df

打印结果:

district_code	fruit_name	price
0	12345	apple	5.2
1	56789	apple	2.4
2	101112	apple	4.2
3	131415	apple	3.6
4	12345	banana	3.5
5	56789	banana	1.9
6	101112	banana	4.0
7	131415	banana	2.3
8	12345	orange	8.0
9	56789	orange	7.5
10	101112	orange	6.4
11	131415	orange	3.9

以上就是长 DataFrame,对应的原 DataFrame 是宽 DF.

看明白了吗?

4. 转 datetime

告诉 year(年份)和 dayofyear(一年中的第几天),怎么转 datetime?

原 DataFrame

d = {\
"year": [2019, 2019, 2020],
"day_of_year": [350, 365, 1]
}
df = pd.DataFrame(d)
df

打印结果:

  year	day_of_year
0	2019	350
1	2019	365
2	2020	1

转 datetime 的 trick。

Step 1: 创建整数

df["int_number"] = df["year"]*1000 + df["day_of_year"]
df

打印结果:

year	day_of_year	int_number
0	2019	350	2019350
1	2019	365	2019365
2	2020	1	2020001

Step 2: to_datetime

df["date"] = pd.to_datetime(df["int_number"], format = "%Y%j")
df

注意 "%Y%j" 中转化格式 j

打印结果:

	year	day_of_year	int_number	date
0	2019	350	2019350	2019-12-16
1	2019	365	2019365	2019-12-31
2	2020	1	2020001	2020-01-01

以上就是 Pandas 做数据清洗的4个 小技巧。

如果文章对你有帮助,欢迎转发/点赞/收藏~

本文分享自微信公众号 - Crossin的编程教室(crossincode)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2021-03-22

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Pandas 数据分析 5 个实用小技巧

    我攥了很久才汇总出这个小技巧系列手册,现暂命名为:《Pandas数据分析小技巧系列手册1.0》

    数据森麟
  • Pandas 数据分析 5 个实用小技巧

    我攥了很久才汇总出这个小技巧系列手册,现暂命名为:《Pandas数据分析小技巧系列手册1.0》

    double
  • 10个数据清洗小技巧,快速提高你的数据质量

    数据质量在数据分析中的重要性毋庸置疑,其直接影响数据的产出和数据价值的高低,通常我们对数据质量的判断主要依据准确性、完整性和一致性三方面。但是,这几点原始数据往...

    Spark学习技巧
  • 数据清洗常用的 2 个小 trick

    有特征上百个,根据多个特征筛选 DataFrame 时,如果这么做,可读性不太友好:

    double
  • 数据清洗常用的 2 个小 trick

    有特征上百个,根据多个特征筛选 DataFrame 时,如果这么做,可读性不太友好:

    不可言诉的深渊
  • Pandas 4 个小 trick,都很实用!

    对于动辄就几十或几百个 G 的数据,在读取这么大数据时,有没有办法随机选取一小部分数据,然后读入内存,快速了解数据和开展 EDA ?

    double
  • 统计师的Python日记【第九天:正则表达式】

    本文是【统计师的Python日记】第9天的日记 回顾一下: 第1天学习了Python的基本页面、操作,以及几种主要的容器类型。 第2天学习了python的函数、...

    数说君
  • 统计师的Python日记【第十天:数据聚合】

    本文是【统计师的Python日记】第10天的日记 回顾一下: 第1天学习了Python的基本页面、操作,以及几种主要的容器类型。 第2天学习了python的函数...

    数说君
  • [数据清洗]-看上去一样的数字

    数据不正确(格式不正确,数据不准确,数据缺失)我们做什么都是徒劳。数据清洗时数据分析的第一步,也是最耗时的一步。 数据清洗很枯燥,但是随着数据清理技巧越来越熟练...

    数据分析

扫码关注云+社区

领取腾讯云代金券