Python线程和进程（下）
队列
queue是python的标准库，俗称队列.可以直接import引用,在python2.x中,模块名为Queue。python3是小写的queue即可
在python中，多个线程之间的数据是共享的，多个线程进行数据交换的时候，不能够保证数据的安全性和一致性，所以当多个线程需要进行数据交换的时候，队列就出现了，队列可以完美解决线程间的数据交换，保证线程间数据的安全性和一致性(简单的来说就是多线程需要加锁，很可能会造成死锁，而queue自带锁。所以多线程结合queue会好的很多。
导入：from queue import Queue
我们还是先看一个案例。queue 就是一个put和get两个操作，一个走开一个进入。
import time
from queue import Queue
from threading import Thread
from random import randint
# 3个队列
my_queue = Queue(3)
def f1(my_queus):
for i in range(3):
time.sleep(1)
num = randint(0,10)
print(num)
my_queue.put(num)
def f2(my_queus):
for i in range(3):
time.sleep(1)
num = my_queue.get()
print(num)
t1 = Thread(target=f1,args=(my_queue,))
t2 = Thread(target=f2,args=(my_queue,))
t1.start()
t2.start()
t1.join()
t2.join()
执行一下，randint是随机在0-10取一个数。
10
10
3
3
5
5
这样就是进一个出一个。
queue还有下面的用法，不说了
线程池
线程多了，是不是要给一个池放在一起比较好，所以 线程池就出来了。这样有任务了，我找一个线程来干活。
使用的是 multiprocessing这个标准库，ThreadPool这个类比之前的Thread这个类多了Pool。
来看demo，用这个ThreadPool。ThreadPool(3)就是在线程池中有3个线程，apply_async就是分配任务，传入的是一个函数
from multiprocessing.pool import ThreadPool
import time
def hello(name):
print('hello,{}'.format(name))
time.sleep(2)
print('Bye')
t = ThreadPool(3)
for i in range(3):
t.apply_async(hello,args=(i,))
t.close()
t.join()
我们来运行下
OUT：
几乎一起完成
hello,0 hello,1 hello,2
几乎一起完成
Bye Bye Bye
三个线程一起干活，每一个线程完成我们的hello任务，最后一起完成了。
上面我们使用的for i in range的方法执行任务，因为任务相同，传入的参数也相同。
我们再看最后一个，传入*args, **kwargs参数
from multiprocessing.pool import ThreadPool
import time
pool = ThreadPool(2)
def task1():
time.sleep(1)
print("任务1完成")
def task2(*args,**kwargs):
time.sleep(1)
print("任务2完成:",args,kwargs)
pool.apply_async(task1)
pool.apply_async(task2,args=(1,2),kwds={'a':1,'b':2})
print("任务提交完成")
pool.close()
pool.join()
print("任务完成")
执行如下：
任务提交完成
任务1完成
任务2完成:(1, 2) {'a': 1, 'b': 2}
任务完成
对于进程和线程就到这里，使用进程和线程，就是在爬虫中，可以提高爬虫速度，就没了。
本文参与 腾讯云自媒体分享计划，分享自微信公众号。
原始发表：2020-04-08，如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读
目录