python语法——使用Pool实现多进程并行

简介

模块来自于 模块。

模块是跨平台版本的多进程模块,像线程一样管理进程,与 threading 很相似,对多核CPU的利用率会比 threading 好的多。

类可以提供指定数量的进程供用户调用,当有新的请求提交到Pool中时,如果池还没有满,就会创建一个新的进程来执行请求。如果池满,请求就会告知先等待,直到池中有进程结束,才会创建新的进程来执行这些请求。

函数

apply()

函数原型:apply(func[, args=()[, kwds={}]])

该函数用于传递不定参数,同python中的apply函数一致,主进程会被阻塞直到函数执行结束(不建议使用,并且3.x以后不在出现)。

apply_async

函数原型:apply_async(func[, args=()[, kwds={}[, callback=None]]])

与apply用法一致,但它是非阻塞的且支持结果返回后进行回调。

map()

函数原型:map(func, iterable[, chunksize=None])

Pool类中的map方法,与内置的map函数用法行为基本一致,它会使进程阻塞直到结果返回。

map_async()

函数原型:map_async(func, iterable[, chunksize[, callback]])

与map用法一致,但是它是非阻塞的。其有关事项见apply_async。

阻塞与非阻塞的讲解见下面备注。

close()

关闭进程池(pool),使其不在接受新的任务。

terminal()

结束工作进程,不在处理未处理的任务。

join()

主进程阻塞等待子进程的退出, join方法要在close或terminate之后使用。

示例

比如我想同时让服务器执行多条 hive 命令,可编程如下:

备注

阻塞与非阻塞的区别

会使进程阻塞,即通过 开启的多进程都结束之后,这个函数才会有返回结果,否则主进程会一直等待,不会往下进行 。

为非阻塞,即通过 开启多进程之后,立刻会返回结果,主进程会继续往下执行。

注意:

如果后面调用了 函数,则不管之前用的是 还是 ,主进程都会等待,直到进程池中所有进程执行完毕,才会继续往下执行。

`starmap` 函数

类中,python 3.X 还引入了 函数,与 的区别在于, 支持将多个参数放入到队列中,不同参数按照顺序以元组形式存放,举例如下:

输出

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20181108G0WWJE00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。

扫码关注云+社区

领取腾讯云代金券