码以致用01-Scrapy 爬虫框架简介

开了新坑,如题,不解释

Scrapy 是什么

Scrapy 是一个为了爬取网站数据,提取结构性数据而编写的应用框架。可以应用在包括数据挖掘,信息处理或存储历史数据等程序中。

Scrapy 的结构

Scrapy 的结构如下:

via Architecture Overview - Scrapy 1.5.0

在 Scrapy 中数据流是这样的:

引擎从爬虫(Spider)获得初始抓取请求

引擎在 Scheduler 中安排好请求,获取下一个抓取请求

Scheduler 返回下一个抓取请求

引擎通过 Downloader 的 Middlewares 发送请求到 Downloader

完成页面下载后,Downloader 生成请求并通过 Middlewares 发送给引擎的

引擎接收来自 Downloader 的响应,通过 Spider Middlewares 发送给 Spider 处理

Spider 处理请求并返回爬取内容,向引擎提交下一个请求

引擎发送爬取内容到 Item Pipelines,然后发送处理请求到 Scheduler,获取下一个爬取请求

重复 1-8 步,直到没有新的请求

安装 Scrapy

新建 Python 虚拟环境

比如用 ,也可以用(参考文后链接:virtualenv installation instructions)

上面的命令中, 是用来折腾爬虫的项目环境名称,是要一起安装的包,如 ,。

我新建了一个叫 的环境,打开这 Python 环境的命令是:

如果你使用 ,可以在 文件里面新建 alias,并 保存生效,下次就可以用别名快捷打开这个环境了。

安装 Scrapy

通过 安装很方便

新建 scrapy 项目

进入存放项目的目录,用命令新建一个爬虫项目:

新建好以后,可以看到起名为 lyrics 的爬虫项目,生成了以下目录和文件:

对照上面介绍的 Scrapy 引擎的结构,可以大概知道每个文件的作用。

下一篇我们尝试用 Scrapy 抓取一些简单的网页内容。

Ref

Scrapy 1.5 documentation - https://docs.scrapy.org/en/latest/index.html

Scrapy爬虫框架教程(一)— Scrapy入门 - https://zhuanlan.zhihu.com/p/24669128

virtualenv installation instructions - https://virtualenv.pypa.io/en/stable/installation/

  • 发表于:
  • 原文链接:http://kuaibao.qq.com/s/20180108G0KC2Z00?refer=cp_1026

扫码关注云+社区