Scrapy框架的使用之Scrapy框架介绍

Scrapy是一个基于Twisted的异步处理框架,是纯Python实现的爬虫框架,其架构清晰,模块之间的耦合程度低,可扩展性极强,可以灵活完成各种需求。我们只需要定制开发几个模块就可以轻松实现一个爬虫。

1. 架构介绍

首先我们看看Scrapy框架的架构,如下图所示。

它可以分为如下的几个部分。

  • Engine。引擎,处理整个系统的数据流处理、触发事务,是整个框架的核心。
  • Item。项目,它定义了爬取结果的数据结构,爬取的数据会被赋值成该Item对象。
  • Scheduler。调度器,接受引擎发过来的请求并将其加入队列中,在引擎再次请求的时候将请求提供给引擎。
  • Downloader。下载器,下载网页内容,并将网页内容返回给蜘蛛。
  • Spiders。蜘蛛,其内定义了爬取的逻辑和网页的解析规则,它主要负责解析响应并生成提取结果和新的请求。
  • Item Pipeline。项目管道,负责处理由蜘蛛从网页中抽取的项目,它的主要任务是清洗、验证和存储数据。
  • Downloader Middlewares。下载器中间件,位于引擎和下载器之间的钩子框架,主要处理引擎与下载器之间的请求及响应。
  • Spider Middlewares。蜘蛛中间件,位于引擎和蜘蛛之间的钩子框架,主要处理蜘蛛输入的响应和输出的结果及新的请求。

2. 数据流

Scrapy中的数据流由引擎控制,数据流的过程如下。

  • Engine首先打开一个网站,找到处理该网站的Spider,并向该Spider请求第一个要爬取的URL。
  • Engine从Spider中获取到第一个要爬取的URL,并通过Scheduler以Request的形式调度。
  • Engine向Scheduler请求下一个要爬取的URL。
  • Scheduler返回下一个要爬取的URL给Engine,Engine将URL通过Downloader Middlewares转发给Downloader下载。
  • 一旦页面下载完毕,Downloader生成该页面的Response,并将其通过Downloader Middlewares发送给Engine。
  • Engine从下载器中接收到Response,并将其通过Spider Middlewares发送给Spider处理。
  • Spider处理Response,并返回爬取到的Item及新的Request给Engine。
  • Engine将Spider返回的Item给Item Pipeline,将新的Request给Scheduler。
  • 重复第二步到最后一步,直到Scheduler中没有更多的Request,Engine关闭该网站,爬取结束。

通过多个组件的相互协作、不同组件完成工作的不同、组件对异步处理的支持,Scrapy最大限度地利用了网络带宽,大大提高了数据爬取和处理的效率。

3. 项目结构

Scrapy框架和pyspider不同,它是通过命令行来创建项目的,代码的编写还是需要IDE。项目创建之后,项目文件结构如下所示:

scrapy.cfg
project/
    __init__.py
    items.py
    pipelines.py
    settings.py
    middlewares.py
    spiders/
        __init__.py
        spider1.py
        spider2.py
        ...

这里各个文件的功能描述如下。

  • scrapy.cfg:它是Scrapy项目的配置文件,其内定义了项目的配置文件路径、部署相关信息等内容。
  • items.py:它定义Item数据结构,所有的Item的定义都可以放这里。
  • pipelines.py:它定义Item Pipeline的实现,所有的Item Pipeline的实现都可以放这里。
  • settings.py:它定义项目的全局配置。
  • middlewares.py:它定义Spider Middlewares和Downloader Middlewares的实现。
  • spiders:其内包含一个个Spider的实现,每个Spider都有一个文件。

4. 结语

本节介绍了Scrapy框架的基本架构、数据流过程以及项目结构。后面我们会详细了解Scrapy的用法,感受它的强大。

原文发布于微信公众号 - 进击的Coder(FightingCoder)

原文发表时间:2018-04-29

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏ytkah

Laravel编辑产品-CRUD之edit和update

  上一篇讲了Laravel展示产品-CRUD之show,现在我们说一下Laravel编辑产品,涉及到编辑和更新,

1143
来自专栏北京马哥教育

Python分布式爬虫详解(一)

当项目上升到一定境界时候,需要同时抓取几百个甚至上千个网站,这个时候,单个的爬虫已经满足不了需求。比如我们日常用的百度,它每天都会爬取大量的网站,一台服务器肯定...

1322
来自专栏小怪聊职场

爬虫课程(九)|豆瓣:Scrapy中items设计及如何把item传给Item Pipeline

3165
来自专栏极乐技术社区

『教程』如何突破微信小程序模板消息限制实现无限制主动推送

基于微信的通知渠道,微信小程序为开发者提供了可以高效触达用户的模板消息能力,在用户本人与小程序页面有交互行为后触发,通过微信聊天列表中的服务通知可快捷进入查看消...

3500
来自专栏OCR PHP 求助

PHP OCR 营业执照 识别

2177
来自专栏Jack-Cui

Python3网络爬虫(五):Python3安装Scrapy

运行平台:Windows Python版本:Python3.x IDE:Sublime text3 一、Scrapy简介     Scrapy是一个为...

2910
来自专栏移动端开发

Android学习--探究服务(二)

      定义服务: 我们需要先创建服务,我们要使用就的利用一个类去继承它,然后重写它的几个方法,具体的我们看下面的代码:

892
来自专栏Coding01

推荐一个 PHP 管道插件 League\\Pipeline

水管太长,只要有一处破了,就会漏水了,而且不利于复杂环境弯曲转折使用。所以我们都会把水管分成很短的一节一节管道,然后最大化的让管道大小作用不同,因地制宜,组装在...

1023
来自专栏Coding01

推荐一个 PHP 管道插件 League\Pipeline

水管太长,只要有一处破了,就会漏水了,而且不利于复杂环境弯曲转折使用。所以我们都会把水管分成很短的一节一节管道,然后最大化的让管道大小作用不同,因地制宜,组装在...

813
来自专栏简书专栏

Python爬虫-小测验

(1)读取给定的dangdang.html页面内容,注:编码为gbk(5分) (2)获取页面中所有图书的名称,价格,作者,出版社及图书图片的url地址(20分...

972

扫码关注云+社区