首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >在pandas中迭代唯一值的更快方法?

在pandas中迭代唯一值的更快方法?
EN

Stack Overflow用户
提问于 2020-09-23 16:34:33
回答 1查看 43关注 0票数 1

我有一些pandas代码,我试图在一个大数据集上运行,尽管使用了apply,但它看起来本质上是迭代和运行缓慢的……欢迎您的建议!

我在试着把我的数据分组。每行都有一个非唯一的事件ID,并且每个事件ID可以包含多个事件。如果这些事件中的任何一个是特定的类型,我希望具有该ID的每一行都有一个特定的标志-例如,这种类型的事件发生在该ID中。然后,我希望导出仅包含ID的数据框,并使用该标志显示该事件是否在该ID中发生。

这是我使用的代码:

代码语言:javascript
运行
复制
no_duplicates = df.drop_duplicates(subset=["ID])

def add_to_clean(URN):
    single_df = df[df["URN"] == URN].copy()
    return single_df["Event_type"].sum() > 0

no_duplicates["Event_type"] = no_duplicates["ID"].swifter.apply(add_to_clean)

虽然我已经尝试使用应用而不是循环,但它似乎仍然迭代了整个代码并且花费了很长时间。有没有关于如何让它更有效率的想法?

EN

Stack Overflow用户

回答已采纳

发布于 2020-09-23 16:37:36

如果需要由聚合值填充的新列,请使用GroupBy.transform而不是apply + join,但transform只使用一个列Event_type

代码语言:javascript
运行
复制
no_duplicates["Event_type"] = no_duplicates.groupby("URN").Event_type.transform('sum') > 0 
票数 0
EN
查看全部 1 条回答
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/64024039

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档