本文算是一次队列的学习笔记，Queue 模块实现了三种类型的队列，它们的区别仅仅是队列中元素被取回的顺序。在 FIFO 队列中，先添加的任务先取回。在 LIFO 队列中，最近被添加的元素先取回(操作类似一个堆栈)。优先级队列中，元素将保持排序( 使用 heapq 模块 ) 并且最小值的条目第一个返回。
# apply_async(func[, args[, kwds[, callback]]]) 它是非阻塞
此前我们介绍了 python 中的多进程包 multiprocessing 以及 signal 包提供的最基本的进程间通信方式 — 信号。 通过 multiprocessing 实现 python 多进程 python 进程间通信（一） — 信号的基本使用 python 进程间通信（二） — 定时信号 SIGALRM
在学习Python的过程中，有接触到多线程编程相关的知识点，先前一直都没有彻底的搞明白。今天准备花一些时间，把里面的细节尽可能的梳理清楚。
生产者是指生产数据的任务，消费者是指消费数据的任务。当生产者的生产能力远大于消费者的消费能力，生产者就需要等消费者消费完才能继续生产新的数据，同理，如果消费者的消费能力远大于生产者的生产能力，消费者就需要等生产者生产完数据才能继续消费，这种等待会造成效率的低下，为了解决这种问题就引入了生产者消费者模型。
在Python文档中搜索队列（queue）会发现，Python标准库中包含了四种队列，分别是queue.Queue / asyncio.Queue / multiprocessing.Queue / collections.deque。
class multiprocessing.JoinableQueue([maxsize])
参考：https://blog.csdn.net/qq_34337272/article/details/81072874
生产者消费者模型 的建立需要借助第三方进行传递信息。那么使用什么充当这个第三方进行传递信息能够使得生产者消费者模型能够效率更高，实现更为简单呢？
进程 进程（Process）是计算机中的程序关于某数据集合上的一次运行活动，是系统进行资源分配和调度的基本单位，是操作系统结构的基础。在早期面向进程设计的计算机结构中，进程是程序的基本执行实体；在当代面向线程设计的计算机结构中，进程是线程的容器。程序是指令、数据及其组织形式的描述，进程是程序的实体。 狭义定义：进程是正在运行的程序的实例（an instance of a computer program that is being executed）。 广义定义：进程是一个具有一定独立功能的程序关于某个数据
python中的多线程无法利用多核优势，如果想要充分地使用多核CPU的资源（os.cpu_count()查看），在python中大部分情况需要使用多进程。Python提供了multiprocessing。 multiprocessing模块用来开启子进程，并在子进程中执行我们定制的任务（比如函数），该模块与多线程模块threading的编程接口类似。
当需要创建的子进程数量不多时，可以直接利用multiprocessing中的Process动态成生多个进程。
进程之间数据隔离，但是共享一套文件系统，因而可以通过文件来实现进程直接的通信，但问题是必须自己加锁处理。
在Python中,由于历史原因(GIL),使得Python中多线程的效果非常不理想.GIL使得任何时刻Python只能利用一个CPU核,并且它的调度算法简单粗暴:多线程中,让每个线程运行一段时间t,然后强行挂起该线程,继而去运行其他线程,如此周而复始,直到所有线程结束.
线程替代方案 subprocess 完全跳过线程，使用进程 是派生进程的主要替代方案 python2.4后引入 multiprocessiong 使用threading接口派生，使用子进程 允许为多核或者多cpu派生进程，接口跟threading非常相似 python2.6后引入 concurrent.futures - 新的异步执行模块 - 任务级别的操作 - python3.2后引入多进程 进程间通讯(InterprocessCommunication, IPC) 进程之间无任何
进程（Process）是计算机中的程序关于某数据集合上的一次运行活动，是系统进行资源分配和调度的基 本单位，是操作系统结构的基础。在早期面向进程设计的计算机结构中，进程是程序的基本执行实体； 在当代面向线程设计的计算机结构中，进程是线程的容器。程序是指令、数据及其组织形式的描述，进 程是程序的实体。
如果我们需要一个只包含数字的列表，那么 array.array 比 list 更 高效。数组支持所有跟可变序列有关的操作，包括 .pop、.insert 和 .extend。另外，数组还提供从文件读取和存入文件的更快的方法，如 .frombytes 和 .tofile。
既打印了主进程put的值，也打印了子进程put的值，在进程中使用队列可以完成双向通信
进程之间数据隔离，但是共享一套文件系统，因而可以通过文件来实现进程直接的通信，但问题是必须自己加锁处理。注意：加锁的目的是为了保证多个进程修改同一块数据时，同一时间只能有一个修改，即串行的修改，没错，速度是慢了，牺牲了速度而保证了数据安全。
在Python的并发变成中，由于GIL的限制，多线程无法很好的应对计算密集型的并发情况，这时候就需要使用多进程的方法进行解决。
# 进程 A 将 event.clear()之后，进程 B 遇到 wait() 立即进入阻塞
生产者消费者模型 在并发编程中使用生产者和消费者模式能够解决绝大多数并发问题。该模式通过平衡生产线程和消费线程的工作能力来提高程序的整体处理数据的速度。 为什么要使用生产者和消费者模式 在线程世界里，生产者就是生产数据的线程，消费者就是消费数据的线程。在多线程开发当中，如果生产者处理速度很快，而消费者处理速度很慢，那么生产者就必须等待消费者处理完，才能继续生产数据。同样的道理，如果消费者的处理能力大于生产者，那么消费者就必须等待生产者。为了解决这个问题于是引入了生产者和消费者模式。
狭义定义：进程是正在运行的程序的实例（an instance of a computer program that is being executed）。 广义定义：进程是一个具有一定独立功能的程序关于某个数据集合的一次运行活动。它是操作系统动态执行的基本单元，在传统的操作系统中，进程既是基本的分配单元，也是基本的执行单元。
python中的多线程无法利用多核优势，如果想要充分地使用多核cpu的资源（os.cpu_count()查看），在python中大部分情况需要使用多进程。python提供了multiprocessing
众所周知，python本身是单线程的，python中的线程处理是由python解释器分配时间片的；但在python 3.0中吸收了开源模块，开始支持系统原生的进程处理——multiprocessing. 注意：这个模块的某些函数需要操作系统的支持，例如，multiprocessing.synchronize模块在某些平台上引入时会激发一个ImportError 1)Process 要创建一个Process是很简单的。
进程是指运行中的应用程序，每个进程都有自己独立的地址空间(内存空间)。比如用户点击桌面的IE浏览器，就启动了一个进程，操作系统就会为该进程分配独立的地址空间。当用户再次点击IE浏览器，又启动了一个进程，操作系统将为新的进程分配新的独立的地址空间。多进程就是“多任务”，就像使用电脑时同时打开浏览器上网、打开播放器听歌、后台还默默运行着杀毒软件一样。现代操作系统如Mac OS X，UNIX，Linux，Windows等都支持多进程，每启动一个进程，操作系统便为该进程分配一个独立的内存空间。
进程：正则进行的一个过程或者说一个任务，而负责执行任务的则是CPU。进程是计算机中的程序关于某数据集合上的一次运行活动，是系统进行资源分配和调度的基本单位，是操作系统基础的结构。早期面向进程设计的计算机结构中，进程是程序的基本执行实体；在当代面向线程设计的计算机结构中，进程是线程的容器。程序是指令、数据及其组织形式的描述，进程是程序的实体。
1.创建线程 Python中提供了threading模块来创建线程，创建方式有两种。
本文比较长，绕的也比较快，需要慢慢跟着敲代码并亲自运行一遍，并发编程本身来说就是编程里面最为抽象的概念，单纯的理论确实很枯燥，但这是基础，基础不牢，地洞山摇，在概念这节里面还需要好好的品味一番。
最近开始学习PYTHON编程语言，详细参照《python绝技运用Python成为顶级***》。在学习过程第一章节中，编写破解LINUX shadow文件时，想利用多线程加快破解速度。主机运行环境为WINDOWS下的VM WORKSTATION上的一台虚拟机，运行多线程代码后并无任何速度上的提升，并且经常伴随输出混乱，不知所以然。故还是利用多进程编写了一个简单的脚本文件，代码如下：
分析：注意：实例化时threading.Thread(target=xxx, args=(xxx,))格式完整，工业风写法为init了的类的函数，args为其余param，一行搞定喵
高可靠，32位16进制数，32*4=128位二进制数，UUID4重复概率1/(2^128)，加上时间戳应该好点，UUID1好点。
基本方法：q.put(元素) q.get() q.get_nowait() q.full() q.empty()
创建进程池可以形象地理解为创建一个并行的流水线，只需创建一次流水线的消耗，处理接收到的任务的，不使用进程池。 ，浪费时间。
步骤一：创建一个py程序，用来打印三个人的信息，创建了三个函数，每个函数里面都有一个sleep来模拟网络延迟，因此我们写出了下面的代码
multiprocessing是一个支持使用类似于线程模块的API派生进程的包。该包同时提供本地和远程并发，通过使用子进程而不是线程，有效地避开了全局解释器锁。因此，multiprocessing模块允许程序员充分利用给定机器上的多个处理器。它同时在Unix和Windows上运行。
一前言 使用python进行并发处理多台机器/多个实例的时候，我们可以使用threading ，但是由于著名的GIL存在，实际上threading 并未提供真正有效的并发处理，要充分利用到多核CPU，我们需要使用多进程。Python提供了非常好用的多进程包--multiprocessing。multiprocessing 可以利用multiprocessing.Process对象来创建一个进程,该Process对象与Threading对象的用法基本相同，具有相同的方法(官方原话:"The multiprocessing package mostly replicates the API of the threading module.") 比如:start(),run(),join()的方法。multiprocessing包中也有Lock/Event/Semaphore/Condition/Pipe/Queue类用于进程之间的通信。话不多说 show me the code！ 二使用 2.1 初识异同
之前说过 Queue：在 Process之间使用没问题，用到 Pool，就使用 Manager().xxx， Value和 Array，就不太一样了：
#单元测试 import unittest def get_formatted_name(first,laster): a = first + " " + laster return a class NamesTestCase(unittest.TestCase): #继承测试类 '''测试name_function.py''' def setUp(self): '''这里填写公用的调用类，后面直接进行测试即可''' def test_first_last_name(self): #tes
linux网络编程常用函数说明 connect函数 int connect (int sockfd,struct sockaddr * serv_addr,int addrlen); （1）connect之前调用bind不是必须的，内核会分配ip以及临时port； （2）connect调用后，会发送SYN分节，如果没有收到SYN-ACK分节，则返回ETIMEOUT； 底层细节说明：发送SYN，6s后未收到SYN-ACK，则再发送一个SYN，24s后未收到SYN-ACK，则再发一个SYN。共等待75s后仍未收
第一种开启进程方式 #!/usr/bin/python # -*- coding:utf-8 -*- from multiprocessing import Process import time, random, os # print(os.cpu_count()) # # # # 定义一个任务 # def piao(name): # print('%s is piaoing' % name) # time.sleep(3) # cpu阻塞，切换到主进程 # print('%s
最近的一个项目中在使用grpc时遇到一个问题，由于client端可多达200，每个端口每10s向grpc server发送一次请求，server端接受client的请求后根据request信息更新数据库，再将数据库和配置文件的某些数据封装后返回给client。原代码的性能是0.26s/request，远远达不到所需性能，其中数据库更新操作耗时达到80%，其中一个优化点就是将数据库更新操作放在独立的线程中。 在次之前没有使用过线程编码，学以致用后本着加深理解的想法，将这个过程记录下来，这里先记下用于线程间通信的队列Queue的相关知识。
python中的多线程其实并不是真正的多线程，如果想要充分地使用多核CPU的资源，在python中大部分情况需要使用多进程。
在利用Python进行系统管理的时候，特别是同时操作多个文件目录，或者远程控制多台主机，并行操作可以节约大量的时间。当被操作对象数目不大时，可以直接利用multiprocessing中的Process动态成生多个进程，十几个还好，但如果是上百个，上千个目标，手动的去限制进程数量却又太过繁琐，此时可以发挥进程池的功效。
阅读目录 1. Process 2. Lock 3. Semaphore 4. Event 5. Queue 6. Pipe 7. Pool 序. multiprocessing python 中的多线程其实并不是真正的多线程，如果想要充分地使用多核CPU的资源，在python中大部分情况需要使用多进程。Python提供了非常好用的多进 程包multiprocessing，只需要定义一个函数，Python会完成其他所有事情。借助这个包，可以轻松完成从单进程到并发执行的转换。multiprocessing支
多进程并发即运行多个独立的程序，优势在于并发处理的任务都由操作系统管理，不足之处在于程序与各进程之间的通信和数据共享不方便；
multiprocessing包是Python中的多进程管理包。它与 threading.Thread类似，可以利用multiprocessing.Process对象来创建一个进程。该进程可以允许放在Python程序内部编写的函数中。该Process对象与Thread对象的用法相同，拥有is_alive()、join([timeout])、run()、start()、terminate()等方法。属性有：authkey、daemon（要通过start()设置）、exitcode(进程在运行时为None、如果为–N，表示被信号N结束）、name、pid。此外multiprocessing包中也有Lock/Event/Semaphore/Condition类，用来同步进程，其用法也与threading包中的同名类一样。multiprocessing的很大一部份与threading使用同一套API，只不过换到了多进程的情境。这个模块表示像线程一样管理进程，这个是multiprocessing的核心，它与threading很相似，对多核CPU的利用率会比threading好的多。
Queue是python标准库中的线程安全的队列（FIFO）实现,提供了一个适用于多线程编程的先进先出的数据结构，即队列，用来在生产者和消费者线程之间的信息传递
Python中使用线程有三种方式： 方法一：函数式 调用thread模块中的start_new_thread()函数来产生新线程。语法如下: thread.start_new_thread ( f
Queue模块是提供队列操作的模块，队列是线程间最常用的交换数据的形式。该模块提供了三种队列：
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
