盘点一个工作中Python自动化处理实战问题（中篇）

今

日

鸡

汤

生亦何欢，死亦何苦。

大家好，我是皮皮。

一、前言

前几天在Python最强王者交流群【哎呦喂  是豆子～】问了一个工作中Python自动化处理实战问题，一起来看看吧。问题描述：

数据在提供的数据表中，在表有编号、环节、审核人、金额、结束时间5列，对【编号、环节、审核人、金额】四条件进行分组，分组内结束时间升序排列，分组内结束时间相差20秒以内的，只保留第一条记录。

大佬再请问下   分组内结束时间相差20秒以内的，只保留第一条记录   这个怎么实现？ 这个做出来的老是有问题  有个窗口函数  用了数据又对不太上。

上一篇文章【瑜亮老师】给出了自己的解答，这一篇文章我们一起来看看【小小明】大佬的解答。

二、实现过程

这里【小小明】给了一份代码，如下所示：

import pandas as pd

def func(df_split):

last_time = None

idx = []

for row in df_split.itertuples():

if last_time is None or (row.结束时间-last_time).total_seconds() > 20:

idx.append(row.Index)

last_time = row.结束时间

return df_split.loc[idx]

df = pd.read_excel("工作量计算.xlsx")

df.sort_values(["编号", "环节", "审核人", "金额", "结束时间"]).groupby(

["编号", "环节", "审核人", "金额"], as_index=False).apply(func)

代码运行后，结果和【瑜亮老师】的答案一致，也是还剩余3394行：

后来【小小明】大佬继续给优化了一下，代码如下：

import pandas as pd

def func(df_split):

last_time = None

idx = []

for row in df_split.itertuples():

if last_time is None or (row.结束时间-last_time).total_seconds() > 20:

idx.append(row.Index)

last_time = row.结束时间

return df_split.loc[idx]

df = pd.read_excel("工作量计算.xlsx")

result = (

df.sort_values(["编号", "环节", "审核人", "金额", "结束时间"])

.groupby(["编号", "环节", "审核人", "金额"], as_index=False)

.apply(func).droplevel(0)

)

result

去除多余的索引加个.droplevel(0)。

针对上一篇文章中【瑜亮老师】的答案，【小小明】大佬继续找他的代码基础上进行了优化，优化后的代码如下所示：

简化后如下：

import pandas as pd

def filter_rows(group):

diff = group.结束时间.diff()

mask = diff.dt.total_seconds() 

return group[~mask].drop_duplicates(keep='first')

df = pd.read_excel('工作量计算.xlsx')

df = df.sort_values(["编号", "环节", "审核人", "金额", "结束时间"])

result = df.groupby(['编号', '环节', '审核人', '金额'], as_index=False).apply(

filter_rows).droplevel(0)

result

顺利地解决了粉丝的问题。

三、总结

大家好，我是皮皮。这篇文章主要盘点了一个工作中Python自动化处理实战问题，文中针对该问题，给出了具体的解析和代码实现，帮助粉丝顺利解决了问题。