​Python爬虫 --- 2.1 Scrapy 爬虫框架的安装与基本介绍

原文链接:https://www.fkomm.cn/article/2018/8/1/26.html

这次介绍一个及其强大的爬虫框架---Scrapy,Scrapy由 Python 编写,是一个快速、高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试。

Srapy框架的安装:

无论是在windows还是mac以及linux下,都可以是用pip工具进行快速安装:

$ pip install scrapy

这里推荐一个非常好用的Python调试shell:ipython。

ipython是一个python的交互式shell,比默认的python shell好用得多,支持变量自动补全,自动缩进,支持bash shell命令,内置了许多很有用的功能和函数。学习ipython将会让我们以一种更高的效率来使用python。同时它也是利用Python进行科学计算和交互可视化的一个最佳的平台。

我们依旧用pip工具进行安装:

$ pip install ipython

Scrapy框架的基本介绍:

首先,我们得明白一点,Scrapy不是一个功能函数库,而是是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架。简单的说,他是一个半成品,可以帮助用户简单快速的部署一个专业的网络爬虫。如果说前面我们写的定制bs4爬虫是“手动挡”,那Scrapy就相当于“半自动档”的车。

其次,Scrapy 使用了 Twisted(其主要对手是Tornado)异步网络框架来处理网络通讯,可以加快我们的下载速度,不用自己去实现异步框架,并且包含了各种中间件接口,可以灵活的完成各种需求。

框架的力量,用户只需要定制开发几个模块就可以轻松的实现一个爬虫,用来抓取网页内容以及各种图片,非常之方便。

Scrapy框架结构:

首先来一张框架整体的图:

pic1.jpg

从图中我们可以清楚的看到,整个框架一共分为五个部分:

  • SPIDERS
  • ITEM PIPELINES
  • DOWNLOADER
  • SCHEDULER
  • ENGIINE

这五个部分互相协作,共同完成了整个爬虫项目的工作。下面我们来一个一个介绍。

SPIDERS:

Spiders这个模块就是整个爬虫项目中需要我们手动实现的核心部分,就是类似我们之前写的get_content函数部分,最主要的功能是 解析网页内容、产生爬取项、产生额外的爬去请求。

ITEM PIPELINES:

这个模块也是需要我们手动实现的,他的主要功能是将我们爬取筛选完毕的数据写入文本,数据库等等。总之就是一个“本地化”的过程。

DOWNLOADER:

这个模块,是Scrapy帮我们做好的,不需要我们自己编写,直接拿来用就行,其主要功能就是从网上获取网页内容,类似于我们写的get_html函数,当然,比我们自己写的这个简单的函数要强大很多

SCHEDULER:

这个模块对所有的爬取请求,进行调度管理,同样也是不需要我们写的模块。通过简单的配置就能达到更加多线程,并发处理等等强大功能。

ENGIINE

这个模块相当于整个框架的控制中心,他控制着所有模块的数据流交换,并根据不同的条件出发相对应的事件,同样,这个模块也是不需要我们编写的。

Scrapy框架的数据流动:

先上一张图:

pic2.png

说了各个模块的作用,那么整个项目跑起来的时候,数据到底是怎么运作的呢? 上图的数字代表数据的流向,解释如下:

  1. Engine从Spider处获得爬取请求(request)
  2. Engine将爬取请求转发给Scheduler,调度指挥进行下一步
  3. Engine从Scheduler出获得下一个要爬取的请求
  4. Engine将爬取请求通过中间件发给Downloader
  5. 爬取网页后后,downloader返回一个Response给engine
  6. Engine将受到的Response返回给spider处理
  7. Spider处理响应后,产生爬取项和新的请求给engine
  8. Engine将爬取项发送给ITEM PIPELINE(写出数据)
  9. Engine将会爬取请求再次发给Scheduler进行调度(下一个周期的爬取)

系统化入门

Scrapy是一个很强大的爬虫框架,用起来很方便,但是要定制高级的功能就不是那么简单的了。这里只是简单的介绍了一下框架的基本原理,但具体如何使用不是一时半会能够说完的,后面我会在例子中一一展现这个框架的高级功能。

如果你想要更加系统化的学习理解这个框架,可以看看Scrapy的官方文档:Scrapy 1.5文档

(https://doc.scrapy.org/en/latest/),会让你受益匪浅的!!!!


相关文章和视频推荐

圆方圆学院汇集 Python + AI 名师,打造精品的 Python + AI 技术课程。 在各大平台都长期有优质免费公开课,欢迎报名收看。

公开课地址:https://ke.qq.com/course/362788?flowToken=1007319

加入python学习讨论群 78486745 ,获取资料,和广大群友一起学习。

原文链接:https://www.fkomm.cn/article/2018/8/1/26.html

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Python中文社区

Python爬虫抓取知乎所有用户信息

專 欄 ❈ 蜗牛仔,Python中文社区专栏作者,怒学Python爬虫,争当爬虫工程师, github地址: https://github.com/xiaob...

3017
来自专栏Samego开发资源

那个程序员的Linux常用软件清单

9685
来自专栏Crossin的编程教室

分享一个“节约生命”的技巧,和几个技术公众号

任何一个信息都可以把人分为两类,知道的和不知道的。有些我们已知的信息,自己觉得很平常,却可能对另一些不知道的人来说很有用处。

1671
来自专栏程序员互动联盟

【专业技术】如何检测USB是否已经插入?

usb是我们现代生活中不可或缺的一个东西,大家平常只要使用电脑,肯定都接触过usb吧。本篇文章对于大部分同学来说并没有实际意义,主要面向想了解USB的一些同学,...

4085
来自专栏IT笔记

学习OpenResty的正确姿势

前段时间老罗退出得到专栏事情闹得沸沸扬扬,另一位老罗也给出了合理的会员退费,感觉得到还是蛮贴心的。想想也是,毕竟精力有限,如今老罗也有了十亿的投资,集中精力做好...

3687
来自专栏MessageQueue

2017上海QCon之旅总结(下)

本来这个公众号的交流消息中间件相关的技术的。十月去上海参加了QCon,第一次参加这样的技术会议,感受挺多的,所以整理一下自己的一些想法接公众号和大家交流一下。

1092
来自专栏安富莱嵌入式技术分享

【安富莱原创开源应用第1期】花式玩转网络摄像头之TCP上位机软件实现,高端大气上档次,速度2MB/S,华丽丽的界面效果

说明: 1、例子是两年前做的,一直没有顾上整理出来,今天特地整理出来,开源出来给大家玩。 2、上位机是emWin模拟器开发的,大家估计很难猜到,所以你会emWi...

1623
来自专栏web前端教室

[前端常见病] 之 后端数据还没有,前端怎么进行?

标题所描述的情况,一般出现在后端进度滞后,前端又积累了一些工作量的情况下。在业务需求已经基本清晰的时候,前端的进度是很快的,UI设计出设计图,前端小兄弟切页面,...

23110
来自专栏北京马哥教育

让弹幕文明一点的Python屏蔽功能小实验

突然想到一个视频里面弹幕被和谐的一满屏的*号觉得很有趣,然后就想用python来试试写写看,结果还真玩出了点效果,思路是首先你得有一个脏话存放的仓库好到时候检测...

3075
来自专栏有趣的django

Django REST framework+Vue 打造生鲜超市(九) 十、购物车、订单管理和支付功能

十、购物车、订单管理和支付功能 10.1.添加商品到购物车 (1)trade/serializer.py # trade/serializer.py __au...

4495

扫码关注云+社区

领取腾讯云代金券