Python-并发下载-多线程实现-上

一、多线程爬虫的流程:

① 使用一个队列 pageQueue 保存要访问的网页页码。

② 同时启动多个采集线程,每个线程都从网页页码队列 pageQueue 中取出一个要访问的页码,构建网址,访问网址并爬取数据。操作完一个网页后再从网页页码队列中取出下一个页码,依次进行,直到所有的页码都已访问完毕。所有的采集线程保存在列表 threadCrawls 中。

③ 使用一个队列 dataQueue 来保存所有的网页代码,每个线程获取到的数据都放入该队列中。

④ 同时启动多个解析线程,每个线程都从网页源代码队列 dataQueue 中取出一个网页源代码,并进行解析,获取想要的数据,并转化为 JSON 格式。解析完成后再取出下一个网页源代码,依次进行,直到多有的源代码都已被取出。将所有的解析线程存储在列表 threadParses 中。

⑤ 将解析得到的 JSON 数据存储在本地文件 duanzi.json 中。

二、实现对内容的爬取和解析

① 在 multiThreading.py 文件中,创建一个 ThreadCrawl 类,继承自 threading.Thread 类,用于采集网页信息。

import requests
import threading
# 采集网页页码队列是否为空
CRAWL_EXIT = False

class ThreadCrawl(threading.Thread):
  def __init__(self, threadName, pageQueue, dataQueue):
    threading.Thread.__init__(self)
    # 线程名
    self.threadName = threadName
    # 页码队列
    self.pageQueue = pageQueue
    # 数据队列
    self.dataQueue = dataQueue
    # 请求头
    self.headers = '{"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36", "Accept-Language": "zh-CN,zh;q=0.8"}'
    
  def run(self):
    print("启动" + self.threadName)
    while not CRAWL_EXIT:
      try:
        page = self.pageQueue.get(False)
        url = "http://www.qiushibaike.com/8hr/page/" + str(page) + "/"
        content = requests.get(url, headers=headers).text
        self.dataQueue.put(content)
      except:
        pass
    print("结束" + self.threadName)

② 创建一个 ThreadParse 类,继承自 threading.Thread,用于解析网页信息。

# 网页源代码队列是否为空
PARSE_EXIT = False

class ThreadParse(threading.Thread):
  def __init__(self, threadName, dataQueue, localFile, lock):
    super(ThreadParse.self).__init__()
    # 线程名
    self.threadName = threadName
    # 数据队列
    self.dataQueue = dataQueue
    # 保存解析后数据的文件名
    self.localFile = localFile
    # 互斥锁
    self.lock = lock
  
  def run(self):
      print("启动" + self.threadName)
      while not PARSE_EXIT:
        try:
          html = self.dataQueue.get(False)
          self.parse(html)
        except:
          pass
      print("结束" + self.threadName)

原文发布于微信公众号 - 数据云团(SmartData)

原文发表时间:2019-04-08

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

扫码关注云+社区

领取腾讯云代金券