Scrapy 爬虫（2）：听说你的爬虫又被封了？

（给Python开发者加星标，提升Python技能）

作者：Zone（本文来自作者投稿）

前言

上一篇文章《爬虫利器初体验（1）》中，我们举了个简单的栗子，但是在真实的开发中这样的爬虫代码很容易就会被封掉。那么怎么样才能避免这些事发生呢？这一这篇文章我们一起来学习，如何健壮我们的爬虫代码。

Spider

当 start_urls 未被指定，会调用 start_requests() ,该方法可以用于在爬取数据之前，先进行模拟登陆。

scrapy.FormRequest 部分参数解析

parse(self, response)

当 start_requests 没有指定回调函数时，默认回调 parse(self,response) 方法。parse 负责处理 response 并返回处理的数据以及(/或)跟进的 URL。

该方法及其他的 Request 回调函数必须返回一个包含 Request、dict 或 Item 的可迭代的对象。简单的来说，所谓的回调函数，其实就是告诉spider，在拿到了网站的 response 以后，交给谁来进行处理后面的页面的解析工作。这个看上一篇文章的代码就可以知道。

Middleware

这里说一下，关于自定义 middleware 需要重写的几个方法，可能你看完这一段长篇大论之后，还是懵逼的，没关系，我也是这样。不过，当你继续往下看，看一个实例之后，你就会明白。

process_request(request, spider)

当每个request通过下载中间件时，该方法被调用。

process_request() 必须返回其中之一: 返回 None 、返回一个 Response 对象、返回一个 Request 对象或 raise IgnoreRequest 。

如果其返回 None ，Scrapy将继续处理该request，执行其他的中间件的相应方法，直到合适的下载器处理函数(download handler)被调用， 该request被执行(其response被下载)。

如果其返回 Response 对象，Scrapy将不会调用 任何 其他的 process_request() 或 process_exception() 方法，或相应地下载函数； 其将返回该 response。 已安装的中间件的 process_response() 方法则会在每个 response 返回时被调用。

如果其返回 Request 对象，Scrapy则停止调用 process_request方法并重新调度返回的 request。当新返回的 request 被执行后， 相应地中间件链将会根据下载的 response 被调用。

如果其 raise 一个 IgnoreRequest 异常，则安装的下载中间件的 process_exception() 方法会被调用。如果没有任何一个方法处理该异常， 则 request 的errback(Request.errback) 方法会被调用。如果没有代码处理抛出的异常， 则该异常被忽略且不记录(不同于其他异常那样)。

参数:

request(Request 对象)–处理的 request

spider(Spider 对象)–该 request 对应的 spider

process_response(request, response, spider)

process_request() 必须返回以下之一: 返回一个 Response 对象、 返回一个 Request 对象或 raise 一个 IgnoreRequest 异常。

如果其返回一个 Response (可以与传入的response相同，也可以是全新的对象)， 该response会被在链中的其他中间件的 process_response() 方法处理。

如果其返回一个 Request 对象，则中间件链停止， 返回的request会被重新调度下载。处理类似于 process_request() 返回request所做的那样。

如果其抛出一个 IgnoreRequest 异常，则调用 request 的 errback( Request.errback)。 如果没有代码处理抛出的异常，则该异常被忽略且不记录(不同于其他异常那样)。

参数:

request (Request 对象) – response 所对应的 request

response (Response 对象) – 被处理的 response

spider (Spider 对象) – response 所对应的 spider

process_exception(request, exception, spider)

当下载处理器(download handler)或 process_request() (下载中间件)抛出异常(包括IgnoreRequest异常)时，Scrapy调用 process_exception() 。

process_exception() 应该返回以下之一: 返回 None 、 一个 Response 对象、或者一个 Request 对象。

如果其返回 None ，Scrapy将会继续处理该异常，接着调用已安装的其他中间件的 process_exception() 方法，直到所有中间件都被调用完毕，则调用默认的异常处理。

如果其返回一个 Response 对象，则已安装的中间件链的 process_response() 方法被调用。Scrapy将不会调用任何其他中间件的 process_exception() 方法。

如果其返回一个 Request 对象， 则返回的request将会被重新调用下载。这将停止中间件的 process_exception() 方法执行，就如返回一个response的那样。

参数:

request (是 Request 对象) – 产生异常的request

exception (Exception 对象) – 抛出的异常

spider (Spider 对象) – request对应的spider

UserAgentMiddleware

多数情况下，网站都会通过 user-agent 来识别访问的用户是否为一台机器，就像爬取豆瓣一样，如果你没有设置 user-agent 的话，就会被拒绝访问。因此，我们只使用一个 user-agent 显然是不够的，因此，我们要想个办法来设置随机的 user-agent。于是，我们便可以自定义 UserAgentMiddleware 来解决这个问题。

首先，在 setting.py 中添加 user-agent ，如下：

然后在 middlewares.py 中添加如下代码：

最后启用这个 middleware ，在 setting.py 中修改 MyUserAgentMiddleware 的优先级，如下：

ProxyMiddleware

除了要更改 user-agent 之外，我们还要使用 ip 代理来健壮我们的爬虫程序。那么，在 scrapy 中如何来设置我们的 ip 代理呢？

首先，在 setting.py 中添加如下代码，为代理 ip：

ip 来自西刺代理，不过好像好多没用的代理。

然后在 middlewares.py 中添加如下代码：

最后启用这个 middleware ，在 setting.py 中修改 ProxyMiddleware 的优先级，如下：

瞎比比

经过这些操作之后，你的代码等级就提升了一个高度了。说了那么多，我们好像还没有将我们抓取的数据保存下来，那么下一篇文章将会说说如何保存我们的数据。