熊猫按日期分组，移除副本时取数。
熊猫按日期分组，移除副本时取数。
提问于 2021-09-19 12:51:24
我有一个数据框架，如下所示：
maid date hour count
0 023f1f5f-37fb-4869-a957-b66b111d808e 2021-08-14 13 2
1 023f1f5f-37fb-4869-a957-b66b111d808e 2021-08-14 15 1
2 0589b8a3-9d33-4db4-b94a-834cc8f46106 2021-08-13 23 14
3 0589b8a3-9d33-4db4-b94a-834cc8f46106 2021-08-14 0 1
4 104010f8-5f57-4f7c-8ad9-5fc3ec0f9f39 2021-08-11 14 2
5 11947b4a-ccf8-48dc-a6a3-925836b3c520 2021-08-13 7 1我试着为每一次约会弄到女佣的数量，如果女佣在第一天被包括在内，我不想包括在以后的任何一天。例如，0589b8a3-9d33-4db4-b94a-834cc8f46106在13和14中都有，我想把女佣包括在13的计数中，而不是在14的时候，因为它已经包括在13了。
我编写了以下代码，它适用于小数据帧：
import pandas as pd
df=pd.read_csv('/home/ubuntu/uniqueSiteId.csv')
umaids=[]
tdf=[]
df['date']=pd.to_datetime(df.date)
df=df.sort_values('date')
df=df[['maid','date']]
df=df.drop_duplicates(['maid','date'])
dts=df['date'].unique()
for dt in dts:
if not umaids:
df1=df[df['date']==dt]
k=df1['maid'].unique()
umaids.extend(k)
dff=df1
fdf=df1.values.tolist()
elif umaids:
dfs=df[df['date']==dt]
df2=dfs[~dfs['maid'].isin(umaids)]
umaids.extend(df2['maid'].unique())
sdf=df2.values.tolist()
tdf.append(sdf)
ftdf = [item for t in tdf for item in t]
ndf=fdf+ftdf
ndf=pd.DataFrame(ndf,columns=['maid','date'])
print(ndf)因为我有1000多个数据帧，而且通常我的数据帧超过一百万行，所以运行上面的数据需要很长的时间。有没有更好的方法。
预期产出如下：
maid date
0 104010f8-5f57-4f7c-8ad9-5fc3ec0f9f39 2021-08-11
1 0589b8a3-9d33-4db4-b94a-834cc8f46106 2021-08-13
2 11947b4a-ccf8-48dc-a6a3-925836b3c520 2021-08-13
3 023f1f5f-37fb-4869-a957-b66b111d808e 2021-08-14回答 1
Stack Overflow用户
回答已采纳
发布于 2021-09-19 13:21:16
根据注释中的讨论，解决方案非常简单:按date对数据进行排序，然后仅根据maid删除重复的数据。这将保持maid的第一次出现，这也是自我们按date分类以来的第一次及时发生。那就像往常一样做集体表演。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/69243460
复制相关文章
相似问题
腾讯云开发者
