Pandas实战——灵活使用pandas基础知识轻松处理不规则数据

Python进阶者

发布于 2023-08-31 08:57:05

1590

发布于 2023-08-31 08:57:05

文章被收录于专栏：Python爬虫与数据挖掘Python爬虫与数据挖掘

一、前言

前几天在Python最强王者群【wen】问了一个pandas数据合并处理的问题，一起来看看吧。他的原始数据如下所示：

然后预期的结果如下所示：

二、实现过程

这里【瑜亮老师】给了一个指导如下：原始数据中包含所有所需的信息，但是因为源系统导出的格式问题，有些数据被分配到了合并行中，并且每个单独的表中都是统一格式。

源数据中'商品', '单价', '支付方式', '销售地', '销量'是已经处理好的数据，不需要单独处理。需要获取的信息是'平台', '商户', '账号'，这三个均在合并行中，群友的建议都是使用re正则表达式获取。

获取到上面数据后，还需要删掉多余的行。仔细观察原始表格我们可以发现：每个单独表格是由一个平台、商户、账号所查询的，且所需平台、商户、账号数据分布在合并行中，而这些合并行在被pandas读取后会形成只有第一列有数值，其他列为NaN的情况。

处理过后的格式情况如下：

这就给了我们去掉这些合并行的简便方法：dropna。

而用正则获取到的平台、商户、账号只有一行，需要对数据进行向下填充空值。而pandas中fillna(method='ffill')即可实现使用前值去填充下面空值的需求。最后，瑜亮老师出手，实现需求，代码如下：

import pandas as pd


# 读取Excel文件
df = pd.read_excel('20230812.xlsx', header=None)

# 去除重复行
df = df.drop_duplicates(ignore_index=False).reset_index(drop=True)

# 根据正则表达式获取“账号”,“平台”，“商户”
df['账号'] = df[0].str.extract(r'账号：(\d+)', expand=False).fillna(method='ffill')
df['平台'] = df[0].str.extract(r'平台：(.*?)，', expand=False).fillna(method='ffill')
df['商户'] = df[0].str.extract(r'商户：(.*?)，', expand=False).fillna(method='ffill')

#  去除含有空值的行（即excel中所有的合并行
df = df.dropna().reset_index(drop=True)

# 设置df的列名
df.columns = ['商品', '单价', '支付方式', '销售地', '销量', '账号', '平台', '商户']
df = df[['平台', '商户', '账号', '商品', '单价', '支付方式', '销售地', '销量']]
print(df)

代码运行后的结果如下：