专栏首页python3python 线程池学习

python 线程池学习

#!/usr/bin/python

import Queue, threading, sys

from threading import Thread

import time,urllib

class Worker(Thread):

   worker_count = 0

   def __init__( self, workQueue, resultQueue, timeout = 0, **kwds):

       Thread.__init__( self, **kwds )

       self.id = Worker.worker_count

       Worker.worker_count += 1

       self.setDaemon( True )

       self.workQueue = workQueue

       self.resultQueue = resultQueue

       self.timeout = timeout

       self.start( )

   def run( self ):

       ''' the get-some-work, do-some-work main loop of worker threads '''

       while True:

           try:

               callable, args, kwds = self.workQueue.get(timeout=self.timeout)

               res = callable(*args, **kwds)

               print "worker[%2d]: %s" % (self.id, str(res) )

               self.resultQueue.put( res )

           except Queue.Empty:

               break

           except :

               print 'worker[%2d]' % self.id, sys.exc_info()[:2]

class WorkerManager:

   def __init__( self, num_of_workers=10, timeout = 1):

       self.workQueue = Queue.Queue()

       self.resultQueue = Queue.Queue()

       self.workers = []

       self.timeout = timeout

       self._recruitThreads( num_of_workers )

   def _recruitThreads( self, num_of_workers ):

       for i in range( num_of_workers ):

           worker = Worker( self.workQueue, self.resultQueue, self.timeout )

           self.workers.append(worker)

   def wait_for_complete( self):

       # ...then, wait for each of them to terminate:   

       while len(self.workers):

           worker = self.workers.pop()

           worker.join( )

           if worker.isAlive() and not self.workQueue.empty():

               self.workers.append( worker )

       print "All jobs are are completed."

   def add_job( self, callable, *args, **kwds ):

       self.workQueue.put( (callable, args, kwds) )

   def get_result( self, *args, **kwds ):

       return self.resultQueue.get( *args, **kwds )

if __name__ == '__main__':

   def test_job(id, sleep = 0.001 ):

      try:

          a=urllib.urlopen('http://www.baidu.com/').read()

      except:

          print '[%4d]' % id, sys.exc_info()[:2]

      return id

   import socket

   socket.setdefaulttimeout(10)

   print 'start testing'

   wm = WorkerManager(2)

   for i in range(2):

       wm.add_job( test_job, i, i*0.001 )

       print wm.get_result( i, i*0.001 )

   wm.wait_for_complete()

   print 'end testing'

个人理解

1.首先实例化WorkerManager(2),在实例化WorkerManager类的时候,首先创建2个队列一个为执行队列,一个为结果队列

2.执行_recruitThreads,循环2次,在这函数中实例化Worker类,并把刚才创建的2个队列传过去,并且往workers这个列表里插入元祖,workers这个列表使用来判断是否队列中的任务都执行完成的 Worker类继承了Thread,初始化一下Thread,调用Thread模块中的start方法,其中start方法中有run这个方法,这里面重写了run方法,self.start( )也就是执行Worker类中的run方法

3.因为下面在执行任务的时候准备往队列里掺入的数据为wm.add_job( test_job, i, i*0.001 )这个格式---所以去get任务执行队列,看看队列是不是空,如果不是空执行res = callable(*args, **kwds),并且把数据写入到结果队列中,但是由于第一次初始化,队列中还没有任务会卡在这

4.执行wm.add_job( test_job, i, i*0.001 ),把2个任务放到刚才创建好的队列中,这2个任务是多线程执行的

5.wm.wait_for_complete()第一步先从列表中逐一删除数据,删除完后等待这个线程是否退出,这里注意join和isalive的区别,join不管是线程执行超时还是正常退出返回值都是none,而isalive是看线程是否还存活,如果线程还存活,并且任务队列不为空,还是要把之前从列表中删除的元祖添加回去,因为线程还没有执行完成,知道判断workers这个列表中没有数据了 整个程序才会推出

不过上面程序在判断线程是不是都执行完了的逻辑,我觉得有写问题

如果多个任务怎么办,如果想10个线程执行test1函数,10个任务执行test2函数怎么办,知道怎么了也就差不多明白怎么回事了

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 数据结构(三):队列

      队列通常用来实现消息(任务)的快速读写,即消息队列。消息队列的常用来解决如下问题:

    py3study
  • Python包装授权

        包装和授权往往使用在定制某种类,其实现的多样性,只要你能想的到,就可以出现千变万化的授权、包装实现方式,上述仅仅提供参考。

    py3study
  • 用 Python 实现的线程池

    为了提高程序的效率,经常要用到多线程,尤其是IO等需要等待外部响应的部分。线程的创建、销毁和调度本身是有代价的,如果一个线程的任务相对简单,那这些时间和空间开销...

    py3study
  • 用Q-learning算法实现自动走迷宫机器人

    强化学习作为机器学习算法的一种,其模式也是让智能体在“训练”中学到“经验”,以实现给定的任务。但不同于监督学习与非监督学习,在强化学习的框架中,我们更侧重通过智...

    宜信技术学院
  • Python开发植物大战僵尸游戏,详细教程

    一墨编程学习
  • 用 Python 实现的线程池

    为了提高程序的效率,经常要用到多线程,尤其是IO等需要等待外部响应的部分。线程的创建、销毁和调度本身是有代价的,如果一个线程的任务相对简单,那这些时间和空间开销...

    py3study
  • Python包装授权

        包装和授权往往使用在定制某种类,其实现的多样性,只要你能想的到,就可以出现千变万化的授权、包装实现方式,上述仅仅提供参考。

    py3study
  • Python开发植物大战僵尸游戏

    ------------------- End -------------------

    python学习教程
  • PaddleX助力无人驾驶:基于YOLOv3的车辆检测和车道线分割实战

    无人驾驶汽车利用传感器技术、信号处理技术、通讯技术和计算机技术等,通过集成视觉、激光雷达、超声传感器、微波雷达、GPS、里程计、磁罗盘等多种车载传感器来辨识汽车...

    用户1386409
  • CNN预测股票走势基于Tensorflow(思路+程序)

    前言 我们希望找出跟随价格上涨的模式。通过每日收盘价,MA,KD,RSI,yearAvgPrice 本次推文研究只是展示深入学习的一个例子。 结果估计不是很好。...

    量化投资与机器学习微信公众号

扫码关注云+社区

领取腾讯云代金券