前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Pandas清洗数据的4个实用小技巧

Pandas清洗数据的4个实用小技巧

作者头像
Crossin先生
发布2021-03-26 11:01:13
1.3K0
发布2021-03-26 11:01:13
举报
文章被收录于专栏:Crossin的编程教室

大家好,欢迎来到 Crossin的编程教室 !

pandas 是做数据分析时的必备库。在数据分析之前,我们往往需要对数据的大小、内容、格式做一定处理,去掉无效值和缺失值,保持结构统一,使其便于之后的分析。这一过程被称作“数据清洗”。

今天我们就来分享几个Pandas在做数据清洗时的小技巧,内容不长,但很实用。

1. 读取时抽样 1%

对于动辄就几十或几百个 G 的数据,在读取这么大数据时,有没有办法随机选取一小部分数据,然后读入内存,快速了解数据和开展 EDA ?

使用 Pandas 的 skiprows 和 概率知识,就能做到。

下面解释具体怎么做。

如下所示,读取某 100 G 大小的 big_data.csv 数据

  1. 使用 skiprows 参数,
  2. x > 0 确保首行读入,
  3. np.random.rand() > 0.01 表示 99% 的数据都会被随机过滤掉

言外之意,只有全部数据的 1% 才有机会选入内存中。

代码语言:javascript
复制
import pandas as pd
import numpy as np
    
df = pd.read_csv("big_data.csv",
skiprows = lambda x: x>0 and 
np.random.rand() > 0.01)

print("The shape of the df is {}.
It has been reduced 100 times!".format(df.shape))

使用这种方法,读取的数据量迅速缩减到原来的 1% ,对于迅速展开数据分析有一定的帮助。

2. replace 做清洗

清洗数据时,少不了要对数据内容进行查找替换。

这里有一个快速清洗数据的小技巧,在某列上使用 replace 方法和正则,快速完成值的清洗。

源数据:

代码语言:javascript
复制
d = {"customer": ["A", "B", "C", "D"],
"sales":[1100, "950.5RMB", "$400", " $1250.75"]}

df = pd.DataFrame(d)
df

打印结果:

代码语言:javascript
复制

customer	sales
0	A	1100
1	B	950.5RMB
2	C	$400
3	D	$1250.75

看到 sales 列的值,有整型,浮点型+RMB后变为字符串型,还有美元+整型,美元+浮点型。

我们的目标:清洗掉 RMB$ 符号,转化这一列为浮点型。

一行代码搞定:(点击代码区域,向右滑动,查看完整代码)

代码语言:javascript
复制
df["sales"] = df["sales"].replace("[$,RMB]", "", regex = True).astype("float")

使用正则替换,将要替换的字符放到列表中 [$,RMB],替换为空字符,即 ""

最后使用 astype 转为 float

打印结果:

代码语言:javascript
复制

customer	sales
0	A	1100.00
1	B	950.50
2	C	400.00
3	D	1250.75

Done ~

如果不放心,再检查下值的类型:

代码语言:javascript
复制
df["sales"].apply(type)

打印结果:

代码语言:javascript
复制
0    <class 'float'>
1    <class 'float'>
2    <class 'float'>
3    <class 'float'>

3. 宽 DF 变长

为什么需要宽 DF 变长 ?

构造一个 DataFrame:

代码语言:javascript
复制
d = {\
"district_code": [12345, 56789, 101112, 131415],
"apple": [5.2, 2.4, 4.2, 3.6],
"banana": [3.5, 1.9, 4.0, 2.3],
"orange": [8.0, 7.5, 6.4, 3.9]
}

df = pd.DataFrame(d)
df

打印结果:

代码语言:javascript
复制

district_code	apple	banana	orange
0	12345	5.2	3.5	8.0
1	56789	2.4	1.9	7.5
2	101112	4.2	4.0	6.4
3	131415	3.6	2.3	3.9

5.2 表示 12345 区域的 apple 价格,并且 apple, banana, orange,这三列都是一种水果,那么如何把这三列合并为一列?

使用 pd.melt

具体参数取值,大家根据此例去推敲:

代码语言:javascript
复制
df = df.melt(\
id_vars = "district_code",
var_name = "fruit_name",
value_name = "price")
df

打印结果:

代码语言:javascript
复制

district_code	fruit_name	price
0	12345	apple	5.2
1	56789	apple	2.4
2	101112	apple	4.2
3	131415	apple	3.6
4	12345	banana	3.5
5	56789	banana	1.9
6	101112	banana	4.0
7	131415	banana	2.3
8	12345	orange	8.0
9	56789	orange	7.5
10	101112	orange	6.4
11	131415	orange	3.9

以上就是长 DataFrame,对应的原 DataFrame 是宽 DF.

看明白了吗?

4. 转 datetime

告诉 year(年份)和 dayofyear(一年中的第几天),怎么转 datetime?

原 DataFrame

代码语言:javascript
复制
d = {\
"year": [2019, 2019, 2020],
"day_of_year": [350, 365, 1]
}
df = pd.DataFrame(d)
df

打印结果:

代码语言:javascript
复制
  year	day_of_year
0	2019	350
1	2019	365
2	2020	1

转 datetime 的 trick。

Step 1: 创建整数

代码语言:javascript
复制
df["int_number"] = df["year"]*1000 + df["day_of_year"]
df

打印结果:

代码语言:javascript
复制
year	day_of_year	int_number
0	2019	350	2019350
1	2019	365	2019365
2	2020	1	2020001

Step 2: to_datetime

代码语言:javascript
复制
df["date"] = pd.to_datetime(df["int_number"], format = "%Y%j")
df

注意 "%Y%j" 中转化格式 j

打印结果:

代码语言:javascript
复制
	year	day_of_year	int_number	date
0	2019	350	2019350	2019-12-16
1	2019	365	2019365	2019-12-31
2	2020	1	2020001	2020-01-01

以上就是 Pandas 做数据清洗的4个 小技巧。

如果文章对你有帮助,欢迎转发/点赞/收藏~

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2021-03-22,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 Crossin的编程教室 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 1. 读取时抽样 1%
  • 2. replace 做清洗
  • 3. 宽 DF 变长
  • 4. 转 datetime
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档