Python-并发下载-多线程实现-上

小团子

发布于 2019-07-18 15:21:45

4930

发布于 2019-07-18 15:21:45

文章被收录于专栏：数据云团数据云团

一、多线程爬虫的流程：

① 使用一个队列 pageQueue 保存要访问的网页页码。

② 同时启动多个采集线程，每个线程都从网页页码队列 pageQueue 中取出一个要访问的页码，构建网址，访问网址并爬取数据。操作完一个网页后再从网页页码队列中取出下一个页码，依次进行，直到所有的页码都已访问完毕。所有的采集线程保存在列表 threadCrawls 中。

③ 使用一个队列 dataQueue 来保存所有的网页代码，每个线程获取到的数据都放入该队列中。

④ 同时启动多个解析线程，每个线程都从网页源代码队列 dataQueue 中取出一个网页源代码，并进行解析，获取想要的数据，并转化为 JSON 格式。解析完成后再取出下一个网页源代码，依次进行，直到多有的源代码都已被取出。将所有的解析线程存储在列表 threadParses 中。

⑤ 将解析得到的 JSON 数据存储在本地文件 duanzi.json 中。

二、实现对内容的爬取和解析

① 在 multiThreading.py 文件中，创建一个 ThreadCrawl 类，继承自 threading.Thread 类，用于采集网页信息。

import requests
import threading
# 采集网页页码队列是否为空
CRAWL_EXIT = False

class ThreadCrawl(threading.Thread):
  def __init__(self, threadName, pageQueue, dataQueue):
    threading.Thread.__init__(self)
    # 线程名
    self.threadName = threadName
    # 页码队列
    self.pageQueue = pageQueue
    # 数据队列
    self.dataQueue = dataQueue
    # 请求头
    self.headers = '{"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36", "Accept-Language": "zh-CN,zh;q=0.8"}'
    
  def run(self):
    print("启动" + self.threadName)
    while not CRAWL_EXIT:
      try:
        page = self.pageQueue.get(False)
        url = "http://www.qiushibaike.com/8hr/page/" + str(page) + "/"
        content = requests.get(url, headers=headers).text
        self.dataQueue.put(content)
      except:
        pass
    print("结束" + self.threadName)

② 创建一个 ThreadParse 类，继承自 threading.Thread，用于解析网页信息。

# 网页源代码队列是否为空
PARSE_EXIT = False

class ThreadParse(threading.Thread):
  def __init__(self, threadName, dataQueue, localFile, lock):
    super(ThreadParse.self).__init__()
    # 线程名
    self.threadName = threadName
    # 数据队列
    self.dataQueue = dataQueue
    # 保存解析后数据的文件名
    self.localFile = localFile
    # 互斥锁
    self.lock = lock
  
  def run(self):
      print("启动" + self.threadName)
      while not PARSE_EXIT:
        try:
          html = self.dataQueue.get(False)
          self.parse(html)
        except:
          pass
      print("结束" + self.threadName)

本文参与腾讯云自媒体分享计划，分享自微信公众号。

原始发表：2019-04-08，如有侵权请联系 cloudcommunity@tencent.com 删除

json