前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >python 线程池threadpool

python 线程池threadpool

作者头像
py3study
发布2020-01-08 18:04:42
1.2K0
发布2020-01-08 18:04:42
举报
文章被收录于专栏:python3python3

最近在做一个视频设备管理的项目,设备包括(摄像机,DVR,NVR等),包括设备信息补全,设备状态推送,设备流地址推送等,如果同时导入的设备数量较多,如果使用单线程进行设备检测,那么由于设备数量较多,会带来较大的延时,因此考虑多线程处理此问题。

可以使用python语言自己实现线程池,或者可以使用第三方包threadpool线程池包,本主题主要介绍threadpool的使用以及其里面的具体实现。

1、安装

使用安装: pip installthreadpool

2、使用

    (1)引入threadpool模块

    (2)定义线程函数

    (3)创建线程 池threadpool.ThreadPool()

    (4)创建需要线程池处理的任务即threadpool.makeRequests()

    (5)将创建的多个任务put到线程池中,threadpool.putRequest

    (6)等到所有任务处理完毕theadpool.pool()

代码语言:javascript
复制
import threadpool
def ThreadFun(arg1,arg2):
    pass
def main():
    device_list=[object1,object2,object3......,objectn]#需要处理的设备个数
    task_pool=threadpool.ThreadPool(8)#8是线程池中线程的个数
    request_list=[]#存放任务列表
    #首先构造任务列表
    for device in device_list:
        request_list.append(threadpool.makeRequests(ThreadFun,[((device, ), {})]))
    #将每个任务放到线程池中,等待线程池中线程各自读取任务,然后进行处理,使用了map函数,不了解的可以去了解一下。
    map(task_pool.putRequest,request_list)
    #等待所有任务处理完成,则返回,如果没有处理完,则一直阻塞
    task_pool.poll()
if __name__=="__main__":
    main()

上面就是一个具体的线程池的使用流程

threadpool具体的定义如下:

代码语言:javascript
复制
class ThreadPool:
    """A thread pool, distributing work requests and collecting results.

    See the module docstring for more information.

    """
    def __init__(self, num_workers, q_size=0, resq_size=0, poll_timeout=5):
        pass
    def createWorkers(self, num_workers, poll_timeout=5):
	    pass
    def dismissWorkers(self, num_workers, do_join=False):
	    pass
    def joinAllDismissedWorkers(self):
	    pass
    def putRequest(self, request, block=True, timeout=None):
	    pass
    def poll(self, block=False):
	    pass
    def wait(self):
    	pass

下一节会详细介绍上面的整个流程以及每个函数:python 线程池threadpool(实现篇)

本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2019-09-04 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 1、安装
  • 2、使用
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档