Scrapy框架的使用之Scrapy框架介绍

Scrapy是一个基于Twisted的异步处理框架,是纯Python实现的爬虫框架,其架构清晰,模块之间的耦合程度低,可扩展性极强,可以灵活完成各种需求。我们只需要定制开发几个模块就可以轻松实现一个爬虫。

1. 架构介绍

首先我们看看Scrapy框架的架构,如下图所示。

它可以分为如下的几个部分。

  • Engine。引擎,处理整个系统的数据流处理、触发事务,是整个框架的核心。
  • Item。项目,它定义了爬取结果的数据结构,爬取的数据会被赋值成该Item对象。
  • Scheduler。调度器,接受引擎发过来的请求并将其加入队列中,在引擎再次请求的时候将请求提供给引擎。
  • Downloader。下载器,下载网页内容,并将网页内容返回给蜘蛛。
  • Spiders。蜘蛛,其内定义了爬取的逻辑和网页的解析规则,它主要负责解析响应并生成提取结果和新的请求。
  • Item Pipeline。项目管道,负责处理由蜘蛛从网页中抽取的项目,它的主要任务是清洗、验证和存储数据。
  • Downloader Middlewares。下载器中间件,位于引擎和下载器之间的钩子框架,主要处理引擎与下载器之间的请求及响应。
  • Spider Middlewares。蜘蛛中间件,位于引擎和蜘蛛之间的钩子框架,主要处理蜘蛛输入的响应和输出的结果及新的请求。

2. 数据流

Scrapy中的数据流由引擎控制,数据流的过程如下。

  • Engine首先打开一个网站,找到处理该网站的Spider,并向该Spider请求第一个要爬取的URL。
  • Engine从Spider中获取到第一个要爬取的URL,并通过Scheduler以Request的形式调度。
  • Engine向Scheduler请求下一个要爬取的URL。
  • Scheduler返回下一个要爬取的URL给Engine,Engine将URL通过Downloader Middlewares转发给Downloader下载。
  • 一旦页面下载完毕,Downloader生成该页面的Response,并将其通过Downloader Middlewares发送给Engine。
  • Engine从下载器中接收到Response,并将其通过Spider Middlewares发送给Spider处理。
  • Spider处理Response,并返回爬取到的Item及新的Request给Engine。
  • Engine将Spider返回的Item给Item Pipeline,将新的Request给Scheduler。
  • 重复第二步到最后一步,直到Scheduler中没有更多的Request,Engine关闭该网站,爬取结束。

通过多个组件的相互协作、不同组件完成工作的不同、组件对异步处理的支持,Scrapy最大限度地利用了网络带宽,大大提高了数据爬取和处理的效率。

3. 项目结构

Scrapy框架和pyspider不同,它是通过命令行来创建项目的,代码的编写还是需要IDE。项目创建之后,项目文件结构如下所示:

scrapy.cfg
project/
    __init__.py
    items.py
    pipelines.py
    settings.py
    middlewares.py
    spiders/
        __init__.py
        spider1.py
        spider2.py
        ...

这里各个文件的功能描述如下。

  • scrapy.cfg:它是Scrapy项目的配置文件,其内定义了项目的配置文件路径、部署相关信息等内容。
  • items.py:它定义Item数据结构,所有的Item的定义都可以放这里。
  • pipelines.py:它定义Item Pipeline的实现,所有的Item Pipeline的实现都可以放这里。
  • settings.py:它定义项目的全局配置。
  • middlewares.py:它定义Spider Middlewares和Downloader Middlewares的实现。
  • spiders:其内包含一个个Spider的实现,每个Spider都有一个文件。

4. 结语

本节介绍了Scrapy框架的基本架构、数据流过程以及项目结构。后面我们会详细了解Scrapy的用法,感受它的强大。

原文发布于微信公众号 - 进击的Coder(FightingCoder)

原文发表时间:2018-04-29

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏ascii0x03的安全笔记

PySide——Python图形化界面入门教程(二)

PySide——Python图形化界面入门教程(二)   ——交互Widget和布局容器                ——Interactive Widge...

4077
来自专栏向治洪

android orm持久层框架

android数据库开发   Android中内置了sqlite,但是常用的开发语言java是面向对象的,而数据库是关系型的,二者之间的转化每次都很麻烦(主...

1645
来自专栏有趣的django

python爬虫入门(六) Scrapy框架之原理介绍

Scrapy框架 Scrapy简介 Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架,用途非常广泛。 框架的力量,...

2453
来自专栏微信公众号:Java团长

一个经典例子让你彻彻底底理解Java回调机制

以前不理解什么叫回调,天天听人家说加一个回调方法啥的,心里想我草,什么叫回调方法啊?然后自己就在网上找啊找啊找,找了很多也不是很明白,现在知道了,所谓回调:就是...

1164
来自专栏大数据挖掘DT机器学习

Scrapy爬虫轻松抓取网站数据(以bbs为例,提供源码)

Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。   其最初是为了页面抓取...

3659
来自专栏叁金大数据

自学Python十二 战斗吧Scrapy!

Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。

933
来自专栏程序员互动联盟

【Android基础】Activity的生命周期函数

前言: 上一篇文章写了关于Activity生命周期和生命周期状态的介绍,这一篇文章给大家聊聊Activity生命周期函数。 主Activity: 应用程序的入口...

3044
来自专栏用户2442861的专栏

初步学习Qt布局

在一个Widget中,Qt布局管理系统提供了一个简单而有效的方式来自动组织子widget,以保证他们能够很好地利用可用空间。

491
来自专栏葡萄城控件技术团队

扩展GridView控件——为内容项添加拖放及分组功能

引言 相信大家对GridView都不陌生,是非常有用的控件,用于平铺有序的显示多个内容项。打开任何WinRT应用或者是微软合作商的网站,都会在APP中发现Gri...

2755
来自专栏腾讯Bugly的专栏

Android ImageView 正确使用姿势

导语 本文主要介绍了ImageView的相关重要方法,从源码角度剖析了一些容易令人混淆或百思不得其解的问题。 一、正确合理使用ImageView 的src 和b...

3458

扫码关注云+社区