终于有人把Scrapy爬虫框架讲明白了
导读：Scrapy由Python语言编写，是一个快速、高层次的屏幕抓取和Web抓取框架，用于抓取Web站点并从页面中提取出结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试等。
作者：赵国生 王健
来源：大数据DT（ID：hzdashuju）
Scrapy是用纯Python语言实现的一个为爬取网站数据、提取结构性数据而编写的应用框架，Scrapy使用了Twisted异步网络框架来处理网络通信，可以加快我们的下载速度，不用自己去实现异步框架，并且包含了各种中间件接口，可以灵活地实现各种需求。
Scrapy可以应用在包括数据挖掘、信息处理或存储历史数据等一系列的程序中，其最初是为页面抓取（更确切地说是网络抓取）而设计的，也可以应用于获取API所返回的数据（例如Amazon Associates Web Services）或者通用的网络爬虫。
01 Scrapy框架介绍
关于Scrapy框架的最简单的安装方法是：
通过anaconda→environments→最右边界面的第一个选项all，在搜索框里搜索scrapy→选择安装。
或者在terminal或者cmd中使用pip安装就好。
# python 3+
pip3 install scrapyScrapy内部实现了包括并发请求、免登录、URL去重等很多复杂操作，用户不需要明白Scrapy内部具体的爬取策略，只需要根据自己的需求去编写小部分的代码，就能抓取到所需要的数据。Scrapy框架如图8-1所示。
▲图8-1 Scrapy框架
图8-1中带箭头的线条表示数据流向，首先从初始URL开始，调度器（Scheduler）会将其交给下载器（Downloader），下载器向网络服务器（Internet）发送服务请求以进行下载，得到响应后将下载的数据交给爬虫（Spider），爬虫会对网页进行分析，分析出来的结果有两种：一种是需要进一步抓取的链接，这些链接会被传回调度器；另一种是需要保存的数据，它们则被送到项目管道（Item Pipeline），Item会定义数据格式，最后由Pipeline对数据进行清洗、去重等处理，继而存储到文件或数据库。
02 Scrapy框架详解
Scrapy由Python语言编写，是一个快速、高层次的屏幕抓取和Web抓取框架，用于抓取Web站点并从页面中提取出结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试等。
1. 框架内组件及作用
Scrapy框架内包含的组件如下：
- 爬虫中间件（Spider Middleware）：位于Scrapy引擎和爬虫之间的框架，主要用于处理爬虫的响应输入和请求输出。
- 调度器中间件（Scheduler Middleware）：位于Scrapy引擎和调度器之间的框架，主要用于处理从Scrapy引擎发送到调度器的请求和响应。
- 调度器：用来接收引擎发过来的请求，压入队列中，并在引擎再次请求的时候返回。它就像是一个URL的优先队列，由它来决定下一个要抓取的网址是什么，同时在这里会去除重复的网址。
- 下载器中间件（Downloader Middleware）：位于Scrapy引擎和下载器之间的框架，主要用于处理Scrapy引擎与下载器之间的请求及响应。代理IP和用户代理可以在这里设置。
- 下载器：用于下载网页内容，并将网页内容返回给爬虫。
- Scrapy引擎（ScrapyEngine）：用来控制整个系统的数据处理流程，并进行事务处理的触发。
- 爬虫：爬虫主要是干活的，用于从特定网页中提取自己需要的信息，即所谓的项目（又称实体）。也可以从中提取URL，让Scrapy继续爬取下一个页面。
- 项目管道：负责处理爬虫从网页中爬取的项目，主要的功能就是持久化项目、验证项目的有效性、清除不需要的信息。当页面被爬虫解析后，将被送到项目管道，并经过几个特定的次序来处理其数据。
2. Scrapy运行流程
Scrapy运行流程如下：
- 引擎从调度器中取出一个URL用于接下来的抓取；
- 引擎把URL封装成一个请求（request）传给下载器；
- 下载器把资源下载下来，并封装成一个响应（response）；
- 爬虫解析响应；
- 解析出的是项目，则交给项目管道进行进一步的处理；
- 解析出的是链接URL，则把URL交给调度器等待下一步的抓取。
3. 数据流向
Scrapy数据流是由执行流程的核心引擎来控制的，流程如图8-2所示。
▲图8-2 框架组件数据流
- 引擎打开网站，找到处理该网站的爬虫并向该爬虫请求第一个要爬取的URL。
- 引擎从爬虫中获取到第一个要爬取的URL，并在调度器中以请求调度。
- 引擎向调度器请求下一个要爬取的URL。
- 调度器返回下一个要爬取的URL给引擎，引擎通过下载中间件转给下载器。
- 一旦页面下载完毕，下载器便会生成一个该页面的响应，并通过下载器中间件将其发送给引擎。
- 引擎从下载器中接收到响应并通过爬虫中间件发送给爬虫处理。
- 爬虫处理响应，并返回爬取到的项目及新的请求给引擎。
- 引擎将爬虫爬取到的项目传给项目管道，将爬虫返回的请求传给调度器。
- 从第2步重复直到调度器中没有更多的请求，引擎便会关闭该网站。
03 Scrapy框架中的Selector
当我们取得了网页的响应之后，最关键的就是如何从繁杂的网页中把我们需要的数据提取出来，Python中常用以下模块来处理HTTP文本解析问题：
- BeautifulSoup：作为程序员间非常流行的网页分析库，它通常基于HTML代码的结构来构造一个Python对象，对不良标记的处理也非常合理，但它有一个缺点，就是“慢”。
- lxml：一个基于ElementTree的Python化的XML解析库。
我们可以在Scrapy中使用任意熟悉的网页数据提取工具，如上面的两种，但是，Scrapy本身也为我们提供了一套提取数据的机制，我们称之为选择器Selector，它通过特定的XPath或者CSS表达式来选择HTML文件中的某个部分。
XPath是一门用来在XML文件中选择节点的语言，也可以用在HTML上。CSS是一门将HTML文档样式化的语言。选择器由它定义，并与特定的HTML元素的样式相关连。
Selector是基于lxml来构建的，支持XPath选择器、CSS选择器以及正则表达式，功能全面、解析速度快且和准确度高。