对于规模小、爬取数据量小、对爬取速度不敏感的爬虫程序, 使用 Requests 能轻松搞定。这些爬虫程序主要功能是爬取网页、玩转网页。如果我们需要爬取网站以及系列网站,要求爬虫具备爬取失败能复盘、爬取速度较高等特点。很显然 Requests 不能完全满足我们的需求。因此,需要一功能更加强大的第三方爬虫框架库 —— Scrapy
Scrapy 是一个为了方便人们爬取网站数据,提取结构性数据而编写的分布式爬取框架。它可以应用在包括数据挖掘, 信息处理或存储历史数据等一系列的程序中。因其功能颇多,所以学会它需要一定的时间成本。
Scrapy 是一个框架。因此,它集一些各功能强大的 python 库的优点于一身。下面列举其一些特性:
Scrapy 是单纯用 Python 语言编写的库。所以它有依赖一些第三方库,如lxml
, twisted
,pyOpenSSL
等。我们也无需逐个安装依赖库,使用 pip 方式安装 Scrapy 即可。pip 会自动安装 Scrapy 所依赖的库。随便也说下 Scrapy 几个重要依赖库的作用。
在终端执行以下命令来安装 Scrapy
你在安装过程中也许会报出安装 Twisted 失败的错误:
原因是 Twisted 底层是由 C 语言编写的,所以需要安装C语言的编译环境。对于Python3.5来说,可以通过安装 Visual C++ Build Tools 来安装这个环境。打开上面报错文本中的链接,下载并安装 visualcppbuildtools_full 。等安装完成,再执行 安装 Scrapy 命令。
安装成功之后如下图:
Scrapy 新建项目需通过命令行操作。在指定文件夹中,打开终端执行以下命令:
我新建一个名为 scrapy_demo,执行结果如下。
使用 Pycharm 打开该项目,我们会发现项目的层级架构以及文件。
这些文件的作用是:
scrapy.cfg
:项目的配置文件,开发无需用到。scrapy_demo
:项目中会有两个同名的文件夹。最外层表示 project,里面那个目录代表 module(项目的核心)。scrapy_demo/items.py
:以字段形式定义后期需要处理的数据。scrapy_demo/pipelines.py
:提取出来的 Item 对象返回的数据并进行存储。scrapy_demo/settings.py
:项目的设置文件。可以对爬虫进行自定义设置,比如选择深度优先爬取还是广度优先爬取,设置对每个IP的爬虫数,设置每个域名的爬虫数,设置爬虫延时,设置代理等等。scrapy_demo/spider
: 这个目录存放爬虫程序代码。__init__.py
:python 包要求,对 scrapy 作用不大。我们刚接触到新事物,想一下子就熟悉它。这明显是天方夜谭。应按照一定的顺序层次、逐步深入学习。学习 Scrapy 也不外乎如此。在我看来,Scrapy 好比由许多组件拼装起来的大机器。因此,可以采取从整体到局部的顺序学习 Scrapy。下图是 Scrapy 的架构图,它能让我们对 Scrapy 有了大体地认识。后续的文章会逐个介绍其组件用法。
我按照从上而下,从左往右的顺序阐述各组件的作用。
Scheduler
:调度器。负责接受 Engine 发送过来的 Requests 请求,并将其队列化;Item Pipeline
:Item Pipeline负责处理被spider提取出来的item。其有典型应用,如清理 HTML 数据、验证爬取的数据(检查 item 包含某些字段)、查重(并丢弃)、爬取数据持久化(存入数据库、写入文件等);Scrapy Engine
:引擎是 Scrapy 的中枢。它负责控制数据流在系统中所有组件中流动,并在相应动作发生时触发事件;Downloader Middlewares
:下载中间件是 Engine 和 Downloader 的枢纽。负责处理 Downloader 传递给 Engine 的 responses;它还支持自定义扩展。Downloader
:负责下载 Engine 发送的所有 Requests 请求,并将其获取到的 responses 回传给 Scrapy Engine;Spider middlewares
:Spider 中间件是 Engine 和 Spider 的连接桥梁;它支持自定义扩展来处理 Spider 的输入(responses) 以及输出 item 和 requests 给 Engine ;Spiders
:负责解析 Responses 并提取 Item 字段需要的数据,再将需要跟进的URL提交给引擎,再次进入Scheduler(调度器);我们对 Scrapy 有了大体上的认识。接下来我们了解下 Scrapy 内部的工作流程。同样先放出一张图,然后我再细细讲解。
推荐:爬虫实战二:爬取电影天堂的最新电影
上文:用 Python 学习数据结构, 有它就不用愁
作者:猴哥,公众号:极客猴。爱好读书,喜欢钻研技术,梦想成为文艺青年的IT Boy。