3行代码实现 Python 并行处理,速度提高6倍!

来源 | towardsdatascience.com

编译 | 数说君

出品 | 数说工作室

原标题:Here’s how you can get a 2–6x speed-up on your data pre-processing with Python

最近在 Towards Data Science 上看到一篇文章,如何用 Python 进行并行处理,觉得非常有帮助,因此介绍给大家,用我的风格对文章做了编译。


数据的预处理,是机器学习非常重要的一环。尽管 Python 提供了很多让人欲罢不能的库,但数据量一大,就不是那么回事了。

面对着海量的数据,再狂拽炫酷的计算都苍白无力,每一个简单的计算都要不断告诉自己:

Python,你算的累不累,

饿不饿?

渴不渴?

会不会让我等待太久,

是否可以快一点。

一方面是低效率,另一方面呢,却是电脑资源的闲置,给你们算笔账:

现在我们做机器学习的个人电脑,大部分都是双CPU核的,有的是4核甚至6核(intel i7)。而 Python 默认情况下是用单核进行做数据处理,这就意味着,Python 处理数据时,电脑有50%的处理能力被闲置了!

还好,Python 有一个隐藏 “皮肤”,可以对核资源的利用率进行加成!这个隐藏“皮肤” 就是 concurrent.futures 模块,能够帮助我们充分利用所有CPU内核。

下面就举个例子进行说明:

在图像处理领域,我们有时候要处理海量的图像数据,比如几百万张照片进行尺寸统一化调整,然后扔到神经网络中进行训练。这时候 concurrent.futures 模块可以帮我们缩短数倍的时间。

为了便于比较,这里拿1000张照片做例子,我们需要:把这1000张照片统一调整成 600x600 的尺寸:

(1)一般的方法

上面是最常见的数据处理方法:

① 准备好要处理的原始文件,比如几百万个txt、jpg等;

② 用for循环一个一个的处理,每一个循环里面运行一次预处理,这里的预处理就是 imread() 和 resize(),即读入每一张图片,重新调整一下大小。

1000张照片的话,大概要花费多久呢?我们来跑一下时间:

time python standard_res_conversion.py

在作者的 i7-8700k 6核CPU处理器上,一共大概7.9864秒。才1000张照片,花了将近8秒,你可以闭上眼感受一下,互联网有一个「八秒定律」,即指用户访问一个网站时,如果等待网页打开的时间超过8秒,会有超过70%的用户放弃等待。

(2)快的方法

concurrent.futures 模块能够利用并行处理来帮我们加速,什么是并行处理,举个例子:

假设我们要把1000个钉子钉入一块木头里,钉一次要1秒,那么1000次就要1000秒。 但假如我们让4个人同时来钉,分摊成4个人,最快只要250秒。这就是并行处理

这1000张照片,也可以分成多个进程来处理。用 concurrent.futures 库只要多3行代码:

代码中,首先把具体的处理过程打包成函数 load_and_resize(),然后用框出来的3行代码,即可实现多线程处理:

with concurrent.futures.ProcessPoolExecutor() as executor:

这句意味着你有多少CPU核心,就启动多少Python进程,这里作者的电脑是6个核,就同时启动6个项。

image_files = glob.glob(".*jpg")

读入原始数据。

executor.map(load_and_resize, image_file)

这个是实际的处理语句,第一个参数是处理函数,第二个参数是原始数据。这个语句意味着,用6个进程,来并行对 image_file 文件进行 load_and_resize 处理。

再跑一下时间:

time python fast_res_conversion.py

这次只需要1.14265秒,快了几乎6倍!

(3)例外情况

由于并行的处理是没有顺序的,因此如果你需要的结果是按照特定顺序排列的,那么这种方法不是很适用。

另外就是数据类型必须要是Python能够去pickle的,比如:

  • None, True, 及 False
  • 整数,浮点数,复数
  • 字符串,字节,字节数组
  • 仅包含可选对象的元组,列表,集合和词典
  • 在模块的顶层定义的函数(用 def 定义,而不是lambda)
  • 在模块顶层定义的内置函数
  • 在模块顶层定义的类
  • 类的实例,这些类的__dict__或调用__getstate __()的结果是可选择的

原文发布于微信公众号 - 数说工作室(shushuojun)

原文发表时间:2018-10-11

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Flutter入门

ffplay.c 源码分析- 音频部分

1. 读取线程-read_thread 在main方法中会启动的读取的线程。 这个和视频的线程模型中是一致的。不同的是,循环读取的数据是音频数据。

17220
来自专栏安恒网络空间安全讲武堂

Writeup丨国赛线上初赛解题第二波~

16540
来自专栏架构师之旅

JVM内存管理------GC算法精解

相信不少猿友看到标题就认为LZ是标题党了,不过既然您已经被LZ忽悠进来了,那就好好的享受一顿算法大餐吧。不过LZ丑话说前面哦,这篇文章应该能让各位彻...

21780
来自专栏鸿的学习笔记

简单聊聊py的高性能编程

高性能编程的含义是通过编写更为高效的代码或者改变操作方式,也就是找到更合适的算法去降低时间上的开销。 计算机的模型可以分为三种,分别是计算单元(CPU...

9010
来自专栏黒之染开发日记

PIXI输出base64图像

如果想使用 canvas 原生的 toDataURL ,参考这篇问答,以下代码是具体方法。但这个方法如果在iOS设备上使用,获取到的图像会上下翻转(效果相当于c...

16110
来自专栏生信宝典

Python解析psiBlast输出的JSON文件结果

什么是JSON文件 JSON文件是一种轻量级的数据存储和交换格式,其实质是字典和列表的组合。这在定义生信分析流程的参数文件中具有很好的应用。 { "公众...

22450
来自专栏灯塔大数据

每周学点大数据 | No.48 计算子图同构

No.48期 计算子图同构 Mr. 王:我们再来看一个例子——计算子图同构。这个问题给定(节点有标签)数据图G和查询图P,找到G 中和P 同构的子图。这是一个...

32280
来自专栏开发 & 算法杂谈

基于Lockset和Happens-before的数据竞争方法汇总

之前的文章介绍都是单独使用lockset或是单独使用happens-before关系进行动态数据竞争检测的方法。单纯使用lockset算法,由于不考虑其他的一些...

21370
来自专栏CDA数据分析师

三行Python代码,让数据预处理速度提高2到6倍

Python 是机器学习领域内的首选编程语言,它易于使用,也有很多出色的库来帮助你更快处理数据。但当我们面临大量数据时,一些问题就会显现……

20740
来自专栏阿凯的Excel

或关系模糊匹配求均值(pandas插播版7)

上期用Excel的复杂函数解决了或关系模糊匹配求均值。本期和大家分享一下如何使用Python的Pandas解决该问题。 郑重说明:本期只是分享解决方案,且pan...

52280

扫码关注云+社区

领取腾讯云代金券