Python 多线程爬虫实战

Python 多线程爬虫实战

Queue线程安全队列解释:

在线程中,访问一些全局变量,加锁是一个经常的过程。如果你是想把一些数据存储到某个队列中,那么Python内置了一个线程安全的模块叫做模块。Python中的queue模块中提供了同步的、线程安全的队列类,包括FIFO(先进先出)队列Queue,LIFO(后入先出)队列LifoQueue。这些队列都实现了锁原语(可以理解为原子操作,即要么不做,要么都做完),能够在多线程中直接使用。可以使用队列来实现线程间的同步。相关的函数如下:

初始化Queue(maxsize):创建一个先进先出的队列。

qsize():返回队列的大小。

empty():判断队列是否为空。

full():判断队列是否满了。

get():从队列中取最后一个数据。

put():将一个数据放到队列中。

使用生产者与消费者模式多线程下载表情包:

GIL全局解释器锁:

Python自带的解释器是。解释器的多线程实际上是一个假的多线程(在多核CPU中,只能利用一核,不能利用多核)。同一时刻只有一个线程在执行,为了保证同一时刻只有一个线程在执行,在解释器中有一个东西叫做,叫做全局解释器锁。这个解释器锁是有必要的。因为解释器的内存管理不是线程安全的。当然除了解释器,还有其他的解释器,有些解释器是没有锁的,见下面:

:用Java实现的Python解释器。不存在GIL锁。更多详情请见:https://zh.wikipedia.org/wiki/Jython

:用实现的Python解释器。不存在GIL锁。更多详情请见:https://zh.wikipedia.org/wiki/IronPython

:用实现的Python解释器。存在GIL锁。更多详情请见:https://zh.wikipedia.org/wiki/PyPy

GIL虽然是一个假的多线程。但是在处理一些IO操作(比如文件读写和网络请求)还是可以在很大程度上提高效率的。在IO操作上建议使用多线程提高效率。在一些CPU计算操作上不建议使用多线程,而建议使用多进程

多线程下载百思不得姐段子:

END

我就知道你在看

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20190926A08EVZ00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券