Scrapy框架的使用

Python爬虫入门之 Scrapy框架的使用

Scrapy是适用于Python的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。 [1]

支持自定义，方便，好用。异步的，，速度嗖嗖嗖的！！！

异步处理框架,可配置和可扩展程度非常高,Python中使用最广泛的爬虫框架

Scrapy中文文档

常用命令：

0. 准备工作

查看scrapy命令

scrapy -h

安装

pip install scrapy

1. 创建一个scrapy项目

创建scrapy项目

scrapy startproject scrapydemo

切换到scrapydemo项目

cd scrapydemo

创建一个新的spider

scrapy genspider scrapydemo bilibili.com

流程图：

画图

1. Spider的将需要发送请求的request发送给Engine（引擎
2. Engine将request发送给Scheduler（调度器
3. Scheduler（调度器，可理解为url队列)，生成request请求交给Engine
4. Engine拿到request，通过DownloaderMiddleware（可选，主要有UA, Cookie，代理IP）进行层层过滤发送给Downloader
5. Downloader向互联网发送请求，获取到response后，又经过SpiderMiddleware（爬虫中间件）发送给Engine
6. Engine获取到response数据之后，返回给Spider，
7. Spider的parse()方法对获取到的response数据进行处理，解析出item和request，然后发送给Engine
8. Engine获取到item和request，将item发送给ItemPipeline（管道）进行数据持久化，将request发送给Scheduler（调度
9. 以上步骤会一直循环，循环到无request（url）请求，程序才停止。

注意！即使某个request中报错了，程序也会继续执行到没有request请求才停止。

部分文件说明：

2. 案例实战

链家

查看君子协议：https://www.bilibili.com/robots.txt

3. 数据持久化

存储为csv：

cmdline.execute('scrapy crawl spider -o lianjia.csv'.split())

存储为json：

cmdline.execute('scrapy crawl spider -o lianjia.json'.split())

存储到数据库：

pipeline.py