python线程池（threadpool）

周小董

发布于 2019-03-25 11:26:08

2.8K0

发布于 2019-03-25 11:26:08

文章被收录于专栏：python前行者

一、安装与简介

pip install threadpool

import threadpool   

#poolsize为线程池的数量
pool = threadpool .ThreadPool(poolsize)  
requests = threadpool.makeRequests(some_callable, list_of_args, callback)  
[pool.putRequest(req) for req in requests]  
pool.wait()

第一行定义了一个线程池，表示最多可以创建poolsize这么多线程；

第二行是调用makeRequests创建了要开启多线程的函数，以及函数相关参数和回调函数，其中回调函数可以不写，default是无，也就是说makeRequests只需要2个参数就可以运行；

第三行用法比较奇怪，是将所有要运行多线程的请求扔进线程池，[pool.putRequest(req) for req in requests]等同于

　　for req in requests:  
　　　　 pool.putRequest(req)

第四行是等待所有的线程完成工作后退出。

实例：

import threadpool,time

lock = threading.Lock()

def sayhello(str):
    lock.acquire()
    print ("Hello ",str)
    time.sleep(2)
    lock.release()

name_list =['xiaozi','aa','bb','cc']
start_time = time.time()
pool = threadpool.ThreadPool(10) 
requests = threadpool.makeRequests(sayhello, name_list) 
[pool.putRequest(req) for req in requests] 
pool.wait() 
print( '%d second'% (time.time()-start_time))

当函数有多个参数的情况，函数调用时第一个解包list，第二个解包dict，所以可以这样：

def hello(m, n, o):
    """"""
    print "m = %s, n = %s, o = %s"%(m, n, o)


if __name__ == '__main__':

   # 方法1  
    lst_vars_1 = ['1', '2', '3']
    lst_vars_2 = ['4', '5', '6']
    func_var = [(lst_vars_1, None), (lst_vars_2, None)]
    # 方法2
    dict_vars_1 = {'m':'1', 'n':'2', 'o':'3'}
    dict_vars_2 = {'m':'4', 'n':'5', 'o':'6'}
    func_var = [(None, dict_vars_1), (None, dict_vars_2)]    

    pool = threadpool.ThreadPool(2)
    requests = threadpool.makeRequests(hello, func_var)
    [pool.putRequest(req) for req in requests]
    pool.wait()

参考：https://www.cnblogs.com/xiaozi/p/6182990.html

本文参与腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。

原始发表：2018年07月13日，如有侵权请联系 cloudcommunity@tencent.com 删除

编程算法