专栏首页idbaPython| 队列 Queue

Python| 队列 Queue

一 前言

本文算是一次队列的学习笔记,Queue 模块实现了三种类型的队列,它们的区别仅仅是队列中元素被取回的顺序。在 FIFO 队列中,先添加的任务先取回。在 LIFO 队列中,最近被添加的元素先取回(操作类似一个堆栈)。优先级队列中,元素将保持排序( 使用 heapq 模块 ) 并且最小值的条目第一个返回。

值得注意的是 Python 2.X 版本中调用队列需要引用 importQueue 而在Python 3.X版本中则需要 importqueue

二 队列特性

2.1 Queue的常用函数

Queue常用的方法:

qsize() 获取队列的元素个数。
put(item [,block[, timeout]]): 往queue中放一个item
get(item [,block[, timeout]]): 从queue中取出一个item,并在队列中删除的这个item

需要特别说明的是:

如果 block 为 True , timeout 为 None(也是默认的选项),那么get()/put()可能会阻塞,直到队列中出现可用的数据/位置。如果 timeout 是正整数,那么函数会阻塞直到超时N秒,然后抛出一个异常。 如果 block 为 False ,如果队列无数据,调用get()或者有无空余位置时调用put(),就立即抛出异常(timeout 将会被忽略)。

task_done(): 表示前面排队的任务已经被完成。被队列的消费者线程使用。每个 get() 被用于获取一个任务, 后续调用 task_done() 告诉队列,该任务的处理已经完成。
join(): 队列中所有的元素都被接收和处理完毕之前程序一直阻塞。

在应用程序中,如果主程序调用了join()则当前程序发生阻塞,当队列中所有的元素都被处理后,将解除阻塞(意味着每个put()进队列的条目的 task_done() 都被收到)。如果 task_done()被调用的次数多于放入队列中的项目数量,将引发 ValueError 异常 。

我们通过程序向队列添加元素的时候,未完成任务的计数就会增加。每当消费者线程调用 task_done() 时表示这个元素已经被回收,涉及到该元素的业务逻辑已经完成,未完成计数就会减少。当未完成计数降到零的时候,程序便会解除join()阻塞。

2.2 实践

我们用一个比较经典的案例 生产者和消费者模型,生产者生产馒头放到队列,消费者去队列里面获取馒头。

# encoding: utf-8
"""
author: yangyi@youzan.com
time: 2019/8/13 11:20 AM
func:
"""
from multiprocessing import Process, JoinableQueue, Lock
import time
import random

thread_lock = Lock()


def lock_print(msg):
    with thread_lock:
        print (msg)


def consumer(q):
    try_num=0
    while True:
        try:
            res = q.get(block=True, timeout=3) # 如果为空 则等待
            print('消费者拿到了 %s' % res)
            q.task_done()
        except Exception as e:
            try_num +=1
            if try_num > 3:
                print "等待3次,消费者拿不到馒头,已经结束等待。。"
                exit(1)
            print "没有馒头了 。"
def producer(q):
    for item in range(4):
        time.sleep(random.randrange(1, 2))
        q.put('馒头{0}'.format(item))
        print('生产者做好了 %s' %'馒头{0}'.format(item))
    q.join()
    lock_print("生产结束")


if __name__ == '__main__':
    print('主进程开始')
    q = JoinableQueue()
    pd = Process(target=producer, args=(q,))
    cp = Process(target=consumer, args=(q,))
    #cp.daemon = True ## 设置为守护进程跟随主进程一起结束。
    pd.start()
    cp.start()
    pd.join()
    cp.join()

    print('主进程结束')

执行结果如下

说明

这里生产者生产馒头并将馒头通过 put()放到全局的队列中,消费者从使用 get()队列中获取馒头然后调用 task_done() 通知队列中的馒头已经被消费者获取。

设置 cp.daemon=True 表示消费者进程会随主进程一起结束而结束。还有一种写法是

if __name__ == '__main__':
    print('主进程开始')
    q = JoinableQueue()
    pd = Process(target=producer, args=(q,))
    cp = Process(target=consumer, args=(q,))
    cp.daemon = True ## 设置为守护进程跟随主进程一起结束。
    pd.start()
    cp.start()
    pd.join()

cp.join() 会让消费者进程一直等待生产者往队列放数据直到设置的超时时间。具体的逻辑需要结合自己程序的实际需求来定,是需要一直等待生产者生产数据还是随着主进程结束而结束。

三 总结

本文结合前面文章中介绍的多进程中的 守护进程和 join()方法,学习如何使用队列中的两个函数 task_donejoin。其实还有其他比较多的函数用法,需要深入的学习探索,感兴趣的朋友可以动手实践一下。

推荐阅读

https://docs.python.org/zh-cn/3/library/queue.html https://python-parallel-programmning-cookbook.readthedocs.io/zh_CN/latest/chapter2/12_Thread_communication_using_a_queue.html

本文分享自微信公众号 - yangyidba(yangyidba)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-08-15

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Python的类和对象

    面向对象编程是最有效的软件编写方法之一。在面向对象编程中,你编写表示现实世界中的事物和情景的类,并基于这些类来创建对象。理解面向对象编程有助于你像程序员那样看世...

    stormwen
  • Python的类的继承

    继承是指这样一种能力:它可以使用现有类的所有功能,并在无需重新编写原来类的情况下对这些类进行扩展。

    stormwen
  • 冲上云霄——云从业人员随笔(1)

    从入职互联网公司到现在,整好四年了,我正式接触虚拟化是零九年,花了三年,终于实习工作的鞭打下驶入了虚拟化赛道,在虚拟化赛道期间我又前前后后做了十几个项目...

    StatLee
  • Python的类和方法——成员可见性

    使用装饰器@classmethod。第一参数必须是当前类对象,该参数名一般约定为「cls」,当然cls也可以换成其他名字,通过它来传递类的属性和方法(不能传实例...

    stormwen
  • 函数和参数

    Python里面有很多内置函数,使用函数可以让我们更快捷得实现要求,但函数那么多,死记硬背肯定不行,就需要我们平时多留心,遇到新的内置函数,多用help指令看看...

    stormwen
  • 提速30倍!这个加速包让Python代码飞起来

    Python是社区里最受喜爱的编程语言!它是目前为止最易使用的语言,因为它的代码短小精悍,符合人们的思维方式,也符合人们的阅读习惯。

    大数据文摘
  • Python函数式编程

    要讲函数式编程,只要有点编程基础的同学应该可以想到命令式编程。我们平时写代码时,用命令式编程最多,不管业务代码有多复杂,都离不开以下几个步骤:

    stormwen
  • 正则表达式(三)

    这两天在读刻意练习,这本书写的很好,里面有一段是这样写的:“我深深地困在,当前的处境中。四面高墙,定义了我的空间格局。我就在这里,生活了很多年,而且可能继续...

    stormwen
  • Python的交叉编译移植至arm板

    虽然网上有那么多python的交叉编译移植教程,但是方法差异蛮大,需要根据实际开发板的型号做调整,以下是适用于海思的板子移植过程。

    jianghaibobo
  • python的安装和环境配置

    这里要注意的是,将python加入到windows的环境变量中,如果忘记打勾,则需要手工加到环境变量中;在这里小编选择的是自定义安装,点击“自定义安装”进行...

    萌海无涯

扫码关注云+社区

领取腾讯云代金券