Scrapy的架构一、Scrapy的Twisted引擎模型二、Scrapy的性能模型三、Scrapy架构组件数据流(Data flow)四、Scrapy架构

Scrapy的架构太重要了，单用一篇文章再总结整合下。前两张图来自《Learning Scrapy》，第三张图来自Scrapy 1.0中文官方文档（该中文文档只到1.0版），第四张图来自Scrapy 1.4英文官方文档（最新版），是我翻译的。

一、Scrapy的Twisted引擎模型

这里重要的概念是单线程、NIO、延迟项和延迟链。

挂衣钩和链子

二、Scrapy的性能模型

Scrapy包括以下部分：

• 调度器：大量的Request在这里排队，直到下载器处理它们。其中大部分是URL，因此体积不大，也就是说即便有大量请求存在，也可以被下载器及时处理。
• 阻塞器：这是抓取器由后向前进行反馈的一个安全阀，如果进程中的响应大于5MB，阻塞器就会暂停更多的请求进入下载器。这可能会造成性能的波动。
• 下载器：这是对Scrapy的性能最重要的组件。它用复杂的机制限制了并发数。它的延迟（管道长度）等于远程服务器的响应时间，加上网络/操作系统、Python/Twisted的延迟。我们可以调节并发请求数，但是对其它延迟无能为力。下载器的能力受限于CONCURRENT_REQUESTS*设置。
• 爬虫：这是抓取器将Response变为Item和其它Request的组件。只要我们遵循规则来写爬虫，通常它不是瓶颈。
• Item Pipelines：这是抓取器的第二部分。我们的爬虫对每个Request可能产生几百个Items，只有CONCURRENT_ITEMS会被并行处理。这一点很重要，因为，如果你用pipelines连接数据库，你可能无意地向数据库导入数据，pipelines的默认值（100）就会看起来很少。

爬虫和pipelines的代码是异步的，会包含必要的延迟，但二者不会是瓶颈。爬虫和pipelines很少会做繁重的处理工作。如果是的话，服务器的CPU则是瓶颈。

三、Scrapy架构

原文链接：http://scrapy-chs.readthedocs.io/zh_CN/latest/topics/architecture.html

接下来的图表展现了Scrapy的架构，包括组件及在系统中发生的数据流的概览(绿色箭头所示)。 下面对每个组件都做了简单介绍，并给出了详细内容的链接。数据流如下所描述。

组件

Scrapy Engine

引擎负责控制数据流在系统中所有组件中流动，并在相应动作发生时触发事件。 详细内容查看下面的数据流(Data Flow)部分。

调度器(Scheduler)

调度器从引擎接受request并将他们入队，以便之后引擎请求他们时提供给引擎。

下载器(Downloader)

下载器负责获取页面数据并提供给引擎，而后提供给spider。

Spiders

Spider是Scrapy用户编写用于分析response并提取item(即获取到的item)或额外跟进的URL的类。 每个spider负责处理一个特定(或一些)网站。 更多内容请看 Spiders 。

Item Pipeline

Item Pipeline负责处理被spider提取出来的item。典型的处理有清理、 验证及持久化(例如存取到数据库中)。 更多内容查看 Item Pipeline 。

下载器中间件(Downloader middlewares)

下载器中间件是在引擎及下载器之间的特定钩子(specific hook)，处理Downloader传递给引擎的response。 其提供了一个简便的机制，通过插入自定义代码来扩展Scrapy功能。更多内容请看 下载器中间(Downloader Middleware) 。

Spider中间件(Spider middlewares)

Spider中间件是在引擎及Spider之间的特定钩子(specific hook)，处理spider的输入(response)和输出(items及requests)。 其提供了一个简便的机制，通过插入自定义代码来扩展Scrapy功能。更多内容请看 Spider中间件(Middleware) 。

数据流(Data flow)

Scrapy中的数据流由执行引擎控制，其过程如下:

1. 引擎打开一个网站(open a domain)，找到处理该网站的Spider并向该spider请求第一个要爬取的URL(s)。
2. 引擎从Spider中获取到第一个要爬取的URL并在调度器(Scheduler)以Request调度。
3. 引擎向调度器请求下一个要爬取的URL。
4. 调度器返回下一个要爬取的URL给引擎，引擎将URL通过下载中间件(请求(request)方向)转发给下载器(Downloader)。
5. 一旦页面下载完毕，下载器生成一个该页面的Response，并将其通过下载中间件(返回(response)方向)发送给引擎。
6. 引擎从下载器中接收到Response并通过Spider中间件(输入方向)发送给Spider处理。
7. Spider处理Response并返回爬取到的Item及(跟进的)新的Request给引擎。
8. 引擎将(Spider返回的)爬取到的Item给Item Pipeline，将(Spider返回的)Request给调度器。
9. (从第二步)重复直到调度器中没有更多地request，引擎关闭该网站。

事件驱动网络(Event-driven networking)

Scrapy基于事件驱动网络框架 Twisted 编写。因此，Scrapy基于并发性考虑由非阻塞(即异步)的实现。

关于异步编程及Twisted更多的内容请查看下列链接：

• Introduction to Deferreds in Twisted
• Twisted - hello, asynchronous programming

四、Scrapy架构

原文链接：https://docs.scrapy.org/en/latest/topics/architecture.html

下图展示了Scrapy的架构、它的组件及数据流（红色箭头）。分别对组件和数据流进行了说明。

数据流

数据流是受执行引擎控制的，流程如下：

1. 引擎从爬虫得到初始请求；
2. 引擎在调度器中调度请求，并请求下一个要爬取的请求；
3. 调度器返回引擎下一个要爬取的请求；
4. 通过下载中间件，引擎将请求发送到下载器；
5. 页面下载完毕之后，下载器生成一个该页面的响应，并通过下载中间件发送给引擎；
6. 引擎收到来自下载器的响应，并通过爬虫中间件，将它发送到爬虫进行处理；
7. 爬虫处理响应，而后返回抓取到的items和新的请求到引擎，返回还要要通过爬虫中间件；
8. 引擎将处理好的items发送到Item Pipelines，然后发送已处理的请求到调度器，并询问下个可能的请求；
9. 这个过程重复进行（从1开始），直到调度器没有更多的请求。

组件

Scrapy引擎

引擎负责控制数据流在系统中所有组件中流动，并在相应动作发生时触发事件。

调度器

调度器从引擎接受请求并将其排队，以便之后引擎请求它们时提供给引擎。

下载器

下载器负责获取页面，并提供给引擎，引擎再将其提供给爬虫。

爬虫

Spider是Scrapy用户编写的用于解析请求并提取item或额外跟进的请求的类。

Item Pipeline

Item Pipeline负责处理爬虫提取出来的item。典型的任务有清理、 验证及持久化（例如存取到数据库中）。

下载器中间件

下载器中间件是在引擎及下载器之间的特定钩子(specific hook)，当请求从引擎到下载器时处理请求，响应从下载器到引擎时处理响应。

如果要做以下的工作，就可以使用下载器中间件：

• 请求发送给下载器之前，处理这个请求（即，在Scrapy发送请求到网站之前）；
• 传递响应到爬虫之前，修改收到的响应；
• 发送一个新的请求到爬虫，而不是传递收到的响应到爬虫；
• 没有获取网页，直接传递响应给爬虫；
• 默默丢弃一些请求。

爬虫中间件

爬虫中间件是在引擎及爬虫之间的特定钩子(specific hook)，处理爬虫的输入（响应）和输出（items和请求）。

爬虫中间件的可以用来：

• 对爬虫调回的输出做后处理 —— 修改、添加、移除请求或items；
• 后处理初始请求（start_requests）；
• 处理爬虫异常；
• 调用errback，而不是基于响应内容调回一些请求。

事件驱动网络

Scrapy是基于事件驱动网络框架 Twisted 编写的。因此，Scrapy基于并发考虑由非阻塞（异步）代码实现。

关于异步编程及Twisted更多的内容请查看下列链接：

• Introduction to Deferreds in Twisted
• Twisted - hello, asynchronous programming
• Twisted Introduction - Krondo