专栏首页相约机器人一行代码加快pandas计算速度

一行代码加快pandas计算速度

作者 | Manu NALEPA

来源 | Towards Data Science

编辑 | 代码医生团队

此GitHub页面上提供了完整的Pandaral·lel存储库和文档。

https://github.com/nalepae/pandarallel

什么问题困扰我们?

使用pandas,当您运行以下行时:

# Standard apply

df.apply(func)

得到这个CPU使用率:

标准pandas适用 - 仅使用1个CPU

即使计算机有多个CPU,也只有一个完全专用于您的计算。

而不是下边这种CPU使用,想要一个简单的方法来得到这样的东西:

并行Pandas适用 - 使用所有CPU

Pandaral·lel 如何帮助解决这个问题?

Pandaral·lel 的想法是将pandas计算分布在计算机上所有可用的CPU上,以显着提高速度。

安装:

$ pip install pandarallel [--user]

导入和初始化:

# Import

from pandarallel import pandarallel



# Initialization

pandarallel.initialize()

用法:

使用带有pandas DataFrame的简单用例df和要应用的函数func,只需替换经典apply的parallel_apply。

# Standard pandas apply

df.apply(func)



# Parallel apply

df.parallel_apply(func)

做完了!

请注意如果不想并行化计算,仍然可以使用经典apply方法。

也可以通过将显示每个工作CPU一个进度条progress_bar=True的initialize功能。

并行应用进度条

并配有更复杂的情况下使用带有pandas DataFrame df,该数据帧的两列column1,column2和功能应用func:

# Standard pandas apply

df.groupby(column1).column2.rolling(4).apply(func)

# Parallel apply

df.groupby(column1).column2.rolling(4).parallel_apply(func)

基准

对于此处提供的四个示例,请执行以下配置:

https://github.com/nalepae/pandarallel/blob/master/docs/examples.ipynb

  • 操作系统:Linux Ubuntu 16.04
  • 硬件:Intel Core i7 @ 3.40 GHz - 4核

4核上的标准与并行(越低越好)

除了df.groupby.col_name.rolling.apply速度仅增加x3.2因子之外,平均速度增加约x4因子,即使用过的计算机上的核心数。

它是如何在引擎盖下工作的?

调用parallel_apply时,Pandaral·lel

  • 实例化一个Pyarrow Plasma共享内存

https://arrow.apache.org/docs/python/plasma.html

  • 为每个CPU创建一个子进程,然后要求每个CPU在DataFrame的子部分上工作
  • 将所有结果合并到父进程中

本文分享自微信公众号 - 相约机器人(xiangyuejiqiren),作者:代码医生

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-04-03

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 三四行代码打造元学习核心,PyTorch元学习库L2L现已开源

    learn2learn 是一个用于实现元学习的 Pytorch 库,我们只需要加几行高层 API,就能为一般的机器学习流程添加元学习能力。例如在元学习 MNIS...

    代码医生工作室
  • 机器学习中算法与模型的区别

    机器学习涉及到机器学习算法和模型的使用。对于初学者来说,这很容易让人混淆,因为“机器学习算法”经常与“机器学习模型”交替使用。这两个到底是一样的东西呢,还是不一...

    代码医生工作室
  • 欲学机器学习必先掌握Shell,AI工程师自制教程,获Reddit网友400+点赞 | PDF+视频

    研究机器学习,少不了Python和C++等语言的帮助。而在GitHub发布的2018机器语言排行榜中,还有一种“冷门”的语言进入了前十,它就是Shell。

    代码医生工作室
  • 学习强化学习无法避开的两个词:Model-Based与Model-Free

    在学习强化学习的过程中,有两个名词早晚会出现在我们面前,就是Model-Based 和Model-Free。在一些资料中,我们经常会见到“这是一个Model-B...

    博文视点Broadview
  • 机器学习算法一览

    引言 提起笔来写这篇博客,突然有点愧疚和尴尬。愧疚的是,工作杂事多,加之懒癌严重,导致这个系列一直没有更新,向关注该系列的同学们道个歉。尴尬的是,按理说,机器学...

    CDA数据分析师
  • spark开发基础之Scala详解apply方法

    问题导读 1.什么情况下调用apply方法? 2.apply你认为有哪些作用? 3.方法调用属于apply什么功能? apply网上很多资料,但是总感觉总...

    用户1410343
  • 【十大顶级专家】全球人工智能技术趋势(诺奖得主、KK等)

    2015 年发生了机器学习的大事件?这背后折射出什么技术趋势?Edge 从全球 198 个顶尖专家中梳理了科技和技术大事件,新智元从中选择了关于人工智能的部分。...

    新智元
  • 网易易盾李雨珂:服务性能+算法确定性优化

    LiveVideoStack
  • 【陆勤践行】机器学习算法概览

    想入门机器学习的同学,经常会去看一些入门书,比如《集体智慧编程》、《机器学习实战》、《数据挖掘》、《推荐系统实践》等。看书的过程中,经常性的会看到如下样例: 垃...

    陆勤_数据人网
  • 函数式编程

    优点: 1、减少键盘的开销 2、便于理解 —— 例如:merge([1,2],[3,4]).sort().search("2") 3、方便单元测试 ——...

    OPice

扫码关注云+社区

领取腾讯云代金券