爬虫系列(13)Scrapy 框架-CrawlSpider、图片管道以及下载中间件Middleware。

1. CrawlSpiders

1.1原理图

sequenceDiagram
start_urls ->>调度器: 初始化url
调度器->>下载器: request
下载器->>rules: response
rules->>数据提取: response
rules->>调度器: 新的url

通过下面的命令可以快速创建 CrawlSpider模板 的代码

scrapy genspider -t crawl 文件名 (allowed_url)

首先在说下Spider,它是所有爬虫的基类,而CrawSpiders就是Spider的派生类。对于设计原则是只爬取start_url列表中的网页,而从爬取的网页中获取link并继续爬取的工作CrawlSpider类更适合。

2. Rule对象

Rule类与CrawlSpider类都位于scrapy.contrib.spiders模块中

class scrapy.contrib.spiders.Rule (  
link_extractor, callback=None,cb_kwargs=None,follow=None,process_links=None,process_request=None ) 

参数含义:

  • - link_extractor为LinkExtractor,用于定义需要提取的链接
  • - callback参数:当link_extractor获取到链接时参数所指定的值作为回调函数
  • - callback参数使用注意:
  • 当编写爬虫规则时,请避免使用parse作为回调函数。于CrawlSpider使用parse方法来实现其逻辑,如果您覆盖了parse方法,crawlspider将会运行失败
  • - follow:指定了根据该规则从response提取的链接是否需要跟进。 当callback为None,默认值为True
  • - process_links:主要用来过滤由link_extractor获取到的链接
  • - process_request:主要用来过滤在rule中提取到的request

3.LinkExtractors

3.1 概念

> 顾名思义,链接提取器

3.2 作用

response对象中获取链接,并且该链接会被接下来爬取

每个LinkExtractor有唯一的公共方法是 extract_links(),它接收一个 Response 对象,并返回一个 scrapy.link.Link 对象

3.3 使用

class scrapy.linkextractors.LinkExtractor(
    allow = (),
    deny = (),
    allow_domains = (),
    deny_domains = (),
    deny_extensions = None,
    restrict_xpaths = (),
    tags = ('a','area'),
    attrs = ('href'),
    canonicalize = True,
    unique = True,
    process_value = None
)

主要参数:

  • - allow:满足括号中“正则表达式”的值会被提取,如果为空,则全部匹配。
  • - deny:与这个正则表达式(或正则表达式列表)不匹配的URL一定不提取。
  • - allow_domains:会被提取的链接的domains。
  • - deny_domains:一定不会被提取链接的domains。
  • - restrict_xpaths:使用xpath表达式,和allow共同作用过滤链接(只选到节点,不选到属性)

3.3.1 查看效果(shell中验证)

首先运行

scrapy shell http://www.fhxiaoshuo.com/read/33/33539/17829387.shtml 

继续import相关模块:

from scrapy.linkextractors import LinkExtractor

提取当前网页中获得的链接

link = LinkExtractor(restrict_xpaths=(r'//div[@class="bottem"]/a[4]')

调用LinkExtractor实例的extract_links()方法查询匹配结果

link.extract_links(response)

3.3.2 查看效果 CrawlSpider版本

from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
from xiaoshuo.items import XiaoshuoItem


class XiaoshuoSpiderSpider(CrawlSpider):
    name = 'xiaoshuo_spider'
    allowed_domains = ['fhxiaoshuo.com']
    start_urls = ['http://www.fhxiaoshuo.com/read/33/33539/17829387.shtml']


    rules = [
        Rule(LinkExtractor(restrict_xpaths=(r'//div[@class="bottem"]/a[4]')), callback='parse_item'),]


    def parse_item(self, response):
        info = response.xpath("//div[@id='TXT']/text()").extract()
        it = XiaoshuoItem()
        it['info'] = info
        yield it

**注意:**

 rules = [
        Rule(LinkExtractor(restrict_xpaths=(r'//div[@class="bottem"]/a[4]')), callback='parse_item'),]
  • - callback后面函数名用引号引起
  • - 函数名不能是parse
  • - 格式问题

4. 介绍

Scrapy提供了一个 item pipeline ,来下载属于某个特定项目的图片,比如,当你抓取产品时,也想把它们的图片下载到本地。

这条管道,被称作图片管道,在 `ImagesPipeline` 类中实现,提供了一个方便并具有额外特性的方法,来下载并本地存储图片:

  • - 将所有下载的图片转换成通用的格式(JPG)和模式(RGB)
  • - 避免重新下载最近已经下载过的图片
  • - 缩略图生成
  • - 检测图像的宽/高,确保它们满足最小限制

这个管道也会为那些当前安排好要下载的图片保留一个内部队列,并将那些到达的包含相同图片的项目连接到那个队列中。 这可以避免多次下载几个项目共享的同一个图片

5. 使用图片管道

当使用 ImagesPipeline ,典型的工作流程如下所示:

  1. 在一个爬虫里,你抓取一个项目,把其中图片的URL放入 image_urls 组内
  2. 项目从爬虫内返回,进入项目管道
  3. 当项目进入 ImagesPipeline,image_urls 组内的URLs将被Scrapy的调度器和下载器(这意味着调度器和下载器的中间件可以复用)安排下载,当优先级更高,会在其他页面被抓取前处理。项目会在这个特定的管道阶段保持“locker”的状态,直到完成图片的下载(或者由于某些原因未完成下载)。
  4. 当图片下载完,另一个组(images)将被更新到结构中。这个组将包含一个字典列表,其中包括下载图片的信息,比如下载路径、源抓取地址(从 image_urls 组获得)和图片的校验码。 images 列表中的图片顺序将和源 image_urls 组保持一致。如果某个图片下载失败,将会记录下错误信息,图片也不会出现在 images 组中

6. 具体流程(此处以zol网站为例)

6.1 定义item

import scrapy


class ImagedownloadItem(scrapy.Item):
    # define the fields for your item here like:
    img_name = scrapy.Field()
    img_urls =scrapy.Field()

6.2 编写spider

> 思路:获取文件地址-->获取图片名称-->推送地址

此处是一张一张的推送

class ZolSpiderSpider(scrapy.Spider):
    name = 'zol'
    allowed_domains = ['zol.com.cn']
    url ='http://desk.zol.com.cn'
    start_urls = [url+'/bizhi/7106_88025_2.html']


    def parse(self, response):
        image_url = response.xpath('//img[@id="bigImg"]/@src').extract_first()
        image_name = response.xpath('//h3')[0].xpath('string(.)').extract_first().strip().replace('\r\n\t\t', '')
        next_image = response.xpath('//a[@id="pageNext"]/@href').extract_first()
        item = ImagedownloadItem()
        item["img_name"] = image_name
        item["img_urls"] = image_url
        yield item


        yield scrapy.Request(self.url+next_image,callback=self.parse,)

6.3 编写pipline

以下如果不想改文件名,meta属性可以忽略不写

def get_media_requests(self, item, info):
        '''
        #如果item[urls]里里面是列表,用下面
        urls= item['urls']
        for url in urls:
            yield scrapy.Request(url,meta={"item",item})
        '''
        # 如果item[urls]里里面是一个图片地址,用这下面的
        yield scrapy.Request(item['img_urls'], meta={"item": item})

因为scrapy里是使用它们URL的 SHA1 hash 作为文件名,所以如果想重命名:

def file_path(self, request, response=None, info=None):
        item = request.meta["item"]
        #去掉文件里的/,避免创建图片文件时出错
        filename = item["img_name"].replace("/","-")+".jpg"


        return filename

6.4 定义图片保存在哪?

在settings中增加一句

IMAGES_STORE = "e:/pics"

7. Spider 下载中间件(Middleware)

Spider 中间件(Middleware) 下载器中间件是介入到 Scrapy 的 spider 处理机制的钩子框架,您可以添加代码来处理发送给 Spiders 的 response 及 spider 产生的 item 和 request

8. 激活一个下载DOWNLOADER_MIDDLEWARES

要激活一个下载器中间件组件,将其添加到 `DOWNLOADER_MIDDLEWARES`设置中,该设置是一个字典,其键是中间件类路径,它们的值是中间件命令

DOWNLOADER_MIDDLEWARES  =  { 
    'myproject.middlewares.CustomDownloaderMiddleware' : 543 ,
}

该`DOWNLOADER_MIDDLEWARES`设置与`DOWNLOADER_MIDDLEWARES_BASEScrapy`中定义的设置(并不意味着被覆盖)合并, 然后按顺序排序,以获得最终的已启用中间件的排序列表:第一个中间件是靠近引擎的第一个中间件,最后一个是靠近引擎的中间件到下载器。换句话说,`process_request()` 每个中间件的方法将以增加中间件的顺序(100,200,300,...)`process_response()`被调用,并且每个中间件的方法将以降序调用

要决定分配给中间件的顺序,请参阅 `DOWNLOADER_MIDDLEWARES_BASE`设置并根据要插入中间件的位置选择一个值。顺序很重要,因为每个中间件都执行不同的操作,而您的中间件可能依赖于之前(或后续)正在使用的中间件

如果要禁用内置中间件(`DOWNLOADER_MIDDLEWARES_BASE`默认情况下已定义和启用的中间件 ),则必须在项目`DOWNLOADER_MIDDLEWARES`设置中定义它,并将“ 无” 作为其值。例如,如果您要禁用用户代理中间件

DOWNLOADER_MIDDLEWARES  =  { 
    'myproject.middlewares.CustomDownloaderMiddleware' : 543 ,
    'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware' : None ,
}

最后,请记住,某些中间件可能需要通过特定设置启用

9. 编写你自己的下载中间件

每个中间件组件都是一个Python类,它定义了一个或多个以下方法

class scrapy.downloadermiddlewares.DownloaderMiddleware

> 任何下载器中间件方法也可能返回一个延迟

9.1 process_request(self, request, spider)

> 当每个request通过下载中间件时,该方法被调用

process_request()必须返回其中之一

- 返回 None

  • - Scrapy 将继续处理该 request,执行其他的中间件的相应方法,直到合适的下载器处理函数(download handler)被调用,该 request 被执行(其 response 被下载)

- 返回一个 Response 对象

  • - Scrapy 将不会调用 任何 其他的 process_request()或 process_exception()方法,或相应地下载函数; 其将返回该 response。已安装的中间件的 process_response()方法则会在每个 response 返回时被调用

- 返回一个 Request 对象

  • - Scrapy 则停止调用 process_request 方法并重新调度返回的 request。当新返回的 request 被执行后, 相应地中间件链将会根据下载的 response 被调用

- raise IgnoreRequest

  • - 如果抛出 一个 IgnoreRequest 异常,则安装的下载中间件的 process_exception() 方法会被调用。如果没有任何一个方法处理该异常, 则 request 的 errback(Request.errback)方法会被调用。如果没有代码处理抛出的异常, 则该异常被忽略且不记录(不同于其他异常那样)

参数:

  • - request (Request 对象) – 处理的request
  • - spider (Spider 对象) – 该request对应的spider

9.2 process_response(self, request, response, spider)

> 当下载器完成http请求,传递响应给引擎的时候调用

  • - process_request() 必须返回以下其中之一: 返回一个 Response 对象、 返回一个 Request 对象或raise一个 IgnoreRequest 异常
  • - 如果其返回一个 Response (可以与传入的response相同,也可以是全新的对象), 该response会被在链中的其他中间件的 process_response() 方法处理。
  • - 如果其返回一个 Request 对象,则中间件链停止, 返回的request会被重新调度下载。处理类似于 process_request() 返回request所做的那样。
  • -如果其抛出一个 IgnoreRequest 异常,则调用request的errback(Request.errback)。 如果没有代码处理抛出的异常,则该异常被忽略且不记录(不同于其他异常那样)。

- 参数:

  • - request (Request 对象) – response所对应的request
  • - response (Response 对象) – 被处理的response
  • - spider (Spider 对象) – response所对应的spider

10. 使用代理

settings.py

PROXIES=[
    {"ip":"122.236.158.78:8118"},
    {"ip":"112.245.78.90:8118"}
]
DOWNLOADER_MIDDLEWARES = {
    #'xiaoshuo.middlewares.XiaoshuoDownloaderMiddleware': 543,
    'xiaoshuo.proxyMidde.ProxyMidde':100
}

创建一个midderwares

from xiaoshuo.settings import PROXIES
import random
class ProxyMidde(object):
    def process_request(self, request, spider):
            proxy = random.choice(PROXIES)
            request.meta['proxy']='http://'+proxy['ip']

写一个spider测试

from scrapy import Spider


class ProxyIp(Spider):
    name = 'ip'
    #http://www.882667.com/
    start_urls = ['http://ip.cn']


    def parse(self, response):
        print(response.text)

11. 使用动态UA

# 随机的User-Agent
class RandomUserAgent(object):
    def process_request(self, request, spider):
        useragent = random.choice(USER_AGENTS)


        request.headers.setdefault("User-Agent", useragent)

原文发布于微信公众号 - 离不开的网(Gy_dxj)

原文发表时间:2019-06-10

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

扫码关注云+社区

领取腾讯云代金券