一、多线程爬虫的流程:
① 使用一个队列 pageQueue 保存要访问的网页页码。
② 同时启动多个采集线程,每个线程都从网页页码队列 pageQueue 中取出一个要访问的页码,构建网址,访问网址并爬取数据。操作完一个网页后再从网页页码队列中取出下一个页码,依次进行,直到所有的页码都已访问完毕。所有的采集线程保存在列表 threadCrawls 中。
③ 使用一个队列 dataQueue 来保存所有的网页代码,每个线程获取到的数据都放入该队列中。
④ 同时启动多个解析线程,每个线程都从网页源代码队列 dataQueue 中取出一个网页源代码,并进行解析,获取想要的数据,并转化为 JSON 格式。解析完成后再取出下一个网页源代码,依次进行,直到多有的源代码都已被取出。将所有的解析线程存储在列表 threadParses 中。
⑤ 将解析得到的 JSON 数据存储在本地文件 duanzi.json 中。
二、实现对内容的爬取和解析
① 在 multiThreading.py 文件中,创建一个 ThreadCrawl 类,继承自 threading.Thread 类,用于采集网页信息。
import requests
import threading
# 采集网页页码队列是否为空
CRAWL_EXIT = False
class ThreadCrawl(threading.Thread):
def __init__(self, threadName, pageQueue, dataQueue):
threading.Thread.__init__(self)
# 线程名
self.threadName = threadName
# 页码队列
self.pageQueue = pageQueue
# 数据队列
self.dataQueue = dataQueue
# 请求头
self.headers = '{"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36", "Accept-Language": "zh-CN,zh;q=0.8"}'
def run(self):
print("启动" + self.threadName)
while not CRAWL_EXIT:
try:
page = self.pageQueue.get(False)
url = "http://www.qiushibaike.com/8hr/page/" + str(page) + "/"
content = requests.get(url, headers=headers).text
self.dataQueue.put(content)
except:
pass
print("结束" + self.threadName)
② 创建一个 ThreadParse 类,继承自 threading.Thread,用于解析网页信息。
# 网页源代码队列是否为空
PARSE_EXIT = False
class ThreadParse(threading.Thread):
def __init__(self, threadName, dataQueue, localFile, lock):
super(ThreadParse.self).__init__()
# 线程名
self.threadName = threadName
# 数据队列
self.dataQueue = dataQueue
# 保存解析后数据的文件名
self.localFile = localFile
# 互斥锁
self.lock = lock
def run(self):
print("启动" + self.threadName)
while not PARSE_EXIT:
try:
html = self.dataQueue.get(False)
self.parse(html)
except:
pass
print("结束" + self.threadName)