Python 多线程爬虫实战

Python 多线程爬虫实战

Queue线程安全队列解释：

在线程中，访问一些全局变量，加锁是一个经常的过程。如果你是想把一些数据存储到某个队列中，那么Python内置了一个线程安全的模块叫做模块。Python中的queue模块中提供了同步的、线程安全的队列类，包括FIFO（先进先出）队列Queue，LIFO（后入先出）队列LifoQueue。这些队列都实现了锁原语（可以理解为原子操作，即要么不做，要么都做完），能够在多线程中直接使用。可以使用队列来实现线程间的同步。相关的函数如下：

初始化Queue(maxsize)：创建一个先进先出的队列。

qsize()：返回队列的大小。

empty()：判断队列是否为空。

full()：判断队列是否满了。

get()：从队列中取最后一个数据。

put()：将一个数据放到队列中。

使用生产者与消费者模式多线程下载表情包：

GIL全局解释器锁：

Python自带的解释器是。解释器的多线程实际上是一个假的多线程（在多核CPU中，只能利用一核，不能利用多核）。同一时刻只有一个线程在执行，为了保证同一时刻只有一个线程在执行，在解释器中有一个东西叫做，叫做全局解释器锁。这个解释器锁是有必要的。因为解释器的内存管理不是线程安全的。当然除了解释器，还有其他的解释器，有些解释器是没有锁的，见下面：

：用Java实现的Python解释器。不存在GIL锁。更多详情请见：https://zh.wikipedia.org/wiki/Jython

：用实现的Python解释器。不存在GIL锁。更多详情请见：https://zh.wikipedia.org/wiki/IronPython

：用实现的Python解释器。存在GIL锁。更多详情请见：https://zh.wikipedia.org/wiki/PyPy

GIL虽然是一个假的多线程。但是在处理一些IO操作（比如文件读写和网络请求）还是可以在很大程度上提高效率的。在IO操作上建议使用多线程提高效率。在一些CPU计算操作上不建议使用多线程，而建议使用多进程

多线程下载百思不得姐段子：

END

我就知道你在看