首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >一行代码加快pandas计算速度

一行代码加快pandas计算速度

作者头像
代码医生工作室
发布2019-06-21 17:06:10
3.6K0
发布2019-06-21 17:06:10
举报
文章被收录于专栏:相约机器人相约机器人

作者 | Manu NALEPA

来源 | Towards Data Science

编辑 | 代码医生团队

此GitHub页面上提供了完整的Pandaral·lel存储库和文档。

https://github.com/nalepae/pandarallel

什么问题困扰我们?

使用pandas,当您运行以下行时:

# Standard apply

df.apply(func)

得到这个CPU使用率:

标准pandas适用 - 仅使用1个CPU

即使计算机有多个CPU,也只有一个完全专用于您的计算。

而不是下边这种CPU使用,想要一个简单的方法来得到这样的东西:

并行Pandas适用 - 使用所有CPU

Pandaral·lel 如何帮助解决这个问题?

Pandaral·lel 的想法是将pandas计算分布在计算机上所有可用的CPU上,以显着提高速度。

安装:

$ pip install pandarallel [--user]

导入和初始化:

# Import

from pandarallel import pandarallel



# Initialization

pandarallel.initialize()

用法:

使用带有pandas DataFrame的简单用例df和要应用的函数func,只需替换经典apply的parallel_apply。

# Standard pandas apply

df.apply(func)



# Parallel apply

df.parallel_apply(func)

做完了!

请注意如果不想并行化计算,仍然可以使用经典apply方法。

也可以通过将显示每个工作CPU一个进度条progress_bar=True的initialize功能。

并行应用进度条

并配有更复杂的情况下使用带有pandas DataFrame df,该数据帧的两列column1,column2和功能应用func:

# Standard pandas apply

df.groupby(column1).column2.rolling(4).apply(func)

# Parallel apply

df.groupby(column1).column2.rolling(4).parallel_apply(func)

基准

对于此处提供的四个示例,请执行以下配置:

https://github.com/nalepae/pandarallel/blob/master/docs/examples.ipynb

  • 操作系统:Linux Ubuntu 16.04
  • 硬件:Intel Core i7 @ 3.40 GHz - 4核

4核上的标准与并行(越低越好)

除了df.groupby.col_name.rolling.apply速度仅增加x3.2因子之外,平均速度增加约x4因子,即使用过的计算机上的核心数。

它是如何在引擎盖下工作的?

调用parallel_apply时,Pandaral·lel

  • 实例化一个Pyarrow Plasma共享内存

https://arrow.apache.org/docs/python/plasma.html

  • 为每个CPU创建一个子进程,然后要求每个CPU在DataFrame的子部分上工作
  • 将所有结果合并到父进程中
本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2019-04-03,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 相约机器人 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档