Scrapy框架的使用之Scrapy框架介绍

Scrapy是一个基于Twisted的异步处理框架,是纯Python实现的爬虫框架,其架构清晰,模块之间的耦合程度低,可扩展性极强,可以灵活完成各种需求。我们只需要定制开发几个模块就可以轻松实现一个爬虫。

1. 架构介绍

首先我们看看Scrapy框架的架构,如下图所示。

它可以分为如下的几个部分。

  • Engine。引擎,处理整个系统的数据流处理、触发事务,是整个框架的核心。
  • Item。项目,它定义了爬取结果的数据结构,爬取的数据会被赋值成该Item对象。
  • Scheduler。调度器,接受引擎发过来的请求并将其加入队列中,在引擎再次请求的时候将请求提供给引擎。
  • Downloader。下载器,下载网页内容,并将网页内容返回给蜘蛛。
  • Spiders。蜘蛛,其内定义了爬取的逻辑和网页的解析规则,它主要负责解析响应并生成提取结果和新的请求。
  • Item Pipeline。项目管道,负责处理由蜘蛛从网页中抽取的项目,它的主要任务是清洗、验证和存储数据。
  • Downloader Middlewares。下载器中间件,位于引擎和下载器之间的钩子框架,主要处理引擎与下载器之间的请求及响应。
  • Spider Middlewares。蜘蛛中间件,位于引擎和蜘蛛之间的钩子框架,主要处理蜘蛛输入的响应和输出的结果及新的请求。

2. 数据流

Scrapy中的数据流由引擎控制,数据流的过程如下。

  • Engine首先打开一个网站,找到处理该网站的Spider,并向该Spider请求第一个要爬取的URL。
  • Engine从Spider中获取到第一个要爬取的URL,并通过Scheduler以Request的形式调度。
  • Engine向Scheduler请求下一个要爬取的URL。
  • Scheduler返回下一个要爬取的URL给Engine,Engine将URL通过Downloader Middlewares转发给Downloader下载。
  • 一旦页面下载完毕,Downloader生成该页面的Response,并将其通过Downloader Middlewares发送给Engine。
  • Engine从下载器中接收到Response,并将其通过Spider Middlewares发送给Spider处理。
  • Spider处理Response,并返回爬取到的Item及新的Request给Engine。
  • Engine将Spider返回的Item给Item Pipeline,将新的Request给Scheduler。
  • 重复第二步到最后一步,直到Scheduler中没有更多的Request,Engine关闭该网站,爬取结束。

通过多个组件的相互协作、不同组件完成工作的不同、组件对异步处理的支持,Scrapy最大限度地利用了网络带宽,大大提高了数据爬取和处理的效率。

3. 项目结构

Scrapy框架和pyspider不同,它是通过命令行来创建项目的,代码的编写还是需要IDE。项目创建之后,项目文件结构如下所示:

scrapy.cfg
project/
    __init__.py
    items.py
    pipelines.py
    settings.py
    middlewares.py
    spiders/
        __init__.py
        spider1.py
        spider2.py
        ...

这里各个文件的功能描述如下。

  • scrapy.cfg:它是Scrapy项目的配置文件,其内定义了项目的配置文件路径、部署相关信息等内容。
  • items.py:它定义Item数据结构,所有的Item的定义都可以放这里。
  • pipelines.py:它定义Item Pipeline的实现,所有的Item Pipeline的实现都可以放这里。
  • settings.py:它定义项目的全局配置。
  • middlewares.py:它定义Spider Middlewares和Downloader Middlewares的实现。
  • spiders:其内包含一个个Spider的实现,每个Spider都有一个文件。

4. 结语

本节介绍了Scrapy框架的基本架构、数据流过程以及项目结构。后面我们会详细了解Scrapy的用法,感受它的强大。

原文发布于微信公众号 - 进击的Coder(FightingCoder)

原文发表时间:2018-04-29

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Java与Android技术栈

基于Vert.x和RxJava 2构建通用的爬虫框架

最近由于业务需要监控一些数据,虽然市面上有很多优秀的爬虫框架,但是我仍然打算从头开始实现一套完整的爬虫框架。

14030
来自专栏北京马哥教育

从零开始的 Python 爬虫速成指南

23140
来自专栏移动端开发

Android学习--探究服务(二)

      定义服务: 我们需要先创建服务,我们要使用就的利用一个类去继承它,然后重写它的几个方法,具体的我们看下面的代码:

10520
来自专栏jeremy的技术点滴

初识glusterfs

42240
来自专栏OCR PHP 求助

PHP OCR 营业执照 识别

29270
来自专栏小怪聊职场

爬虫课程(九)|豆瓣:Scrapy中items设计及如何把item传给Item Pipeline

34150
来自专栏Coding01

推荐一个 PHP 管道插件 League\Pipeline

水管太长,只要有一处破了,就会漏水了,而且不利于复杂环境弯曲转折使用。所以我们都会把水管分成很短的一节一节管道,然后最大化的让管道大小作用不同,因地制宜,组装在...

9130
来自专栏程序员的碎碎念

适合存储大量爬虫数据的数据库,了解一下?

今天这个坑可能以后你也会遇到, 随着爬取数据量的增加, 以及爬取的网站数据字段的变化, 以往在爬虫入门时使用的方法局限性可能会骤增.

38430
来自专栏向治洪

android之service

android中服务是运行在后台的东西,级别与activity差不多。既然说service是运行在后台的服务,那么它就是不可见的,没有界面的东西。你可以启动一个...

195100
来自专栏Jack-Cui

Python3网络爬虫(五):Python3安装Scrapy

运行平台:Windows Python版本:Python3.x IDE:Sublime text3 一、Scrapy简介     Scrapy是一个为...

31500

扫码关注云+社区

领取腾讯云代金券