分布式爬虫原理之Scrapy分布式实现

接下来,我们会利用Scrapy-Redis来实现分布式的对接。

一、准备工作

请确保已经成功实现了Scrapy新浪微博爬虫,Scrapy-Redis库已经正确安装。

二、搭建Redis服务器

要实现分布式部署,多台主机需要共享爬取队列和去重集合,而这两部分内容都是存于Redis数据库中的,我们需要搭建一个可公网访问的Redis服务器。

推荐使用Linux服务器,可以购买阿里云、腾讯云、Azure等提供的云主机,一般都会配有公网IP,具体的搭建方式可以参考第1章中Redis数据库的安装方式。

Redis安装完成之后就可以远程连接了,注意部分商家(如阿里云、腾讯云)的服务器需要配置安全组放通Redis运行端口才可以远程访问。如果遇到不能远程连接的问题,可以排查安全组的设置。

需要记录Redis的运行IP、端口、地址,供后面配置分布式爬虫使用。当前配置好的Redis的IP为服务器的IP 120.27.34.25,端口为默认的6379,密码为foobared。

三、部署代理池和Cookies池

新浪微博项目需要用到代理池和Cookies池,而之前我们的代理池和Cookies池都是在本地运行的。所以我们需要将二者放到可以被公网访问的服务器上运行,将代码上传到服务器,修改Redis的连接信息配置,用同样的方式运行代理池和Cookies池。

远程访问代理池和Cookies池提供的接口,来获取随机代理和Cookies。如果不能远程访问,先确保其在0.0.0.0这个Host上运行,再检查安全组的配置。

如我当前配置好的代理池和Cookies池的运行IP都是服务器的IP,120.27.34.25,端口分别为5555和5556,如下图所示。

接下来我们要修改Scrapy新浪微博项目中的访问链接,如下所示:

PROXY_URL = 'http://120.27.34.25:5555/random'
COOKIES_URL = 'http://120.27.34.25:5556/weibo/random'

具体的修改方式根据实际配置的IP和端口做相应调整。

四、配置Scrapy-Redis

配置Scrapy-Redis非常简单,只需要修改一下settings.py配置文件即可。

1. 核心配置

首先最主要的是,需要将调度器的类和去重的类替换为Scrapy-Redis提供的类,在settings.py里面添加如下配置即可:

SCHEDULER = "scrapy_redis.scheduler.Scheduler"
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"

2. Redis连接配置

接下来配置Redis的连接信息,这里有两种配置方式。

第一种方式是通过连接字符串配置。我们可以用Redis的地址、端口、密码来构造一个Redis连接字符串,支持的连接形式如下所示:

redis://[:password]@host:port/db
rediss://[:password]@host:port/db
unix://[:password]@/path/to/socket.sock?db=db

password是密码,比如要以冒号开头,中括号代表此选项可有可无,host是Redis的地址,port是运行端口,db是数据库代号,其值默认是0。

根据上文中提到我的Redis连接信息,构造这个Redis的连接字符串如下所示:

redis://:foobared@120.27.34.25:6379

直接在settings.py里面配置为REDIS_URL变量即可:

REDIS_URL = 'redis://:foobared@120.27.34.25:6379'

第二种配置方式是分项单独配置。这个配置就更加直观明了,如根据我的Redis连接信息,可以在settings.py中配置如下代码:

REDIS_HOST = '120.27.34.25'
REDIS_PORT = 6379
REDIS_PASSWORD = 'foobared'

这段代码分开配置了Redis的地址、端口和密码。

注意,如果配置了REDIS_URL,那么Scrapy-Redis将优先使用REDIS_URL连接,会覆盖上面的三项配置。如果想要分项单独配置的话,请不要配置REDIS_URL

在本项目中,我选择的是配置REDIS_URL

3. 配置调度队列

此项配置是可选的,默认使用PriorityQueue。如果想要更改配置,可以配置SCHEDULER_QUEUE_CLASS变量,如下所示:

SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.PriorityQueue'
SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.FifoQueue'
SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.LifoQueue'

以上三行任选其一配置,即可切换爬取队列的存储方式。

在本项目中不进行任何配置,我们使用默认配置。

4. 配置持久化

此配置是可选的,默认是False。Scrapy-Redis默认会在爬取全部完成后清空爬取队列和去重指纹集合。

如果不想自动清空爬取队列和去重指纹集合,可以增加如下配置:

SCHEDULER_PERSIST = True

SCHEDULER_PERSIST设置为True之后,爬取队列和去重指纹集合不会在爬取完成后自动清空,如果不配置,默认是False,即自动清空。

值得注意的是,如果强制中断爬虫的运行,爬取队列和去重指纹集合是不会自动清空的。

在本项目中不进行任何配置,我们使用默认配置。

5. 配置重爬

此配置是可选的,默认是False。如果配置了持久化或者强制中断了爬虫,那么爬取队列和指纹集合不会被清空,爬虫重新启动之后就会接着上次爬取。如果想重新爬取,我们可以配置重爬的选项:

SCHEDULER_FLUSH_ON_START = True

这样将SCHEDULER_FLUSH_ON_START设置为True之后,爬虫每次启动时,爬取队列和指纹集合都会清空。所以要做分布式爬取,我们必须保证只能清空一次,否则每个爬虫任务在启动时都清空一次,就会把之前的爬取队列清空,势必会影响分布式爬取。

注意,此配置在单机爬取的时候比较方便,分布式爬取不常用此配置。

在本项目中不进行任何配置,我们使用默认配置。

6. Pipeline配置

此配置是可选的,默认不启动Pipeline。Scrapy-Redis实现了一个存储到Redis的Item Pipeline,启用了这个Pipeline的话,爬虫会把生成的Item存储到Redis数据库中。在数据量比较大的情况下,我们一般不会这么做。因为Redis是基于内存的,我们利用的是它处理速度快的特性,用它来做存储未免太浪费了,配置如下:

ITEM_PIPELINES = {
    'scrapy_redis.pipelines.RedisPipeline': 300
}

本项目不进行任何配置,即不启动Pipeline。

到此为止,Scrapy-Redis的配置就完成了。有的选项我们没有配置,但是这些配置在其他Scrapy项目中可能用到,要根据具体情况而定。

五、配置存储目标

之前Scrapy新浪微博爬虫项目使用的存储是MongoDB,而且MongoDB是本地运行的,即连接的是localhost。但是,当爬虫程序分发到各台主机运行的时候,爬虫就会连接各自的的MongoDB。所以我们需要在各台主机上都安装MongoDB,这样有两个缺点:一是搭建MongoDB环境比较繁琐;二是这样各台主机的爬虫会把爬取结果分散存到各自主机上,不方便统一管理。

所以我们最好将存储目标存到同一个地方,例如都存到同一个MongoDB数据库中。我们可以在服务器上搭建一个MongoDB服务,或者直接购买MongoDB数据存储服务。

这里使用的就是服务器上搭建的的MongoDB服务,IP仍然为120.27.34.25,用户名为admin,密码为admin123。

修改配置MONGO_URI为如下:

MONGO_URI = 'mongodb://admin:admin123@120.27.34.25:27017'

到此为止,我们就成功完成了Scrapy分布式爬虫的配置。

六、运行

接下来将代码部署到各台主机上,记得每台主机都需要配好对应的Python环境。

每台主机上都执行如下命令,即可启动爬取:

scrapy crawl weibocn

每台主机启动了此命令之后,就会从配置的Redis数据库中调度Request,做到爬取队列共享和指纹集合共享。同时每台主机占用各自的带宽和处理器,不会互相影响,爬取效率成倍提高。

七、结果

一段时间后,我们可以用RedisDesktop观察远程Redis数据库的信息。这里会出现两个Key:一个叫作weibocn:dupefilter,用来储存指纹;另一个叫作weibocn:requests,即爬取队列,如下图所示。

随着时间的推移,指纹集合会不断增长,爬取队列会动态变化,爬取的数据也会被储存到MongoDB数据库中。

八、本节代码

本节代码地址为:https://github.com/Python3WebSpider/Weibo/tree/distributed,注意这里是distributed分支。

九、结语

本节通过对接Scrapy-Redis成功实现了分布式爬虫,但是部署还是有很多不方便的地方。另外,如果爬取量特别大的话,Redis的内存也是个问题。在后文我们会继续了解相关优化方案。

原文发布于微信公众号 - 进击的Coder(FightingCoder)

原文发表时间:2018-05-27

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Spark学习技巧

重磅:如何玩转kylin

1, kylin是什么?为什么需要? Apache Kylin™是一个开源的分布式分析引擎,提供Hadoop之上的SQL查询接口及多维分析(OLAP)能力以支持...

2565
来自专栏james大数据架构

如何开发自己的搜索帝国之Elasticsearch

搜索引擎是什么?   搜索引擎是指根据一定的策略、运用特定的计算机程序从互联网上搜集信息,在对信息进行组织和处理后,为用户提供检索服务,将用户检索相关的信息展示...

2017
来自专栏不想当开发的产品不是好测试

唯品会osp简介(转)

Thrift采用接口描述语言定义并创建服务,支持可扩展的跨语言服务开发,使用代码生成引擎可以在多种语言之中创建高效、无缝的服务,采用二进制格式进行数据的传输,相...

914
来自专栏云计算教程系列

如何在Ubuntu 14.04上备份,还原和迁移MongoDB数据库

MongoDB是最受欢迎的NoSQL数据库引擎之一。它以可扩展,强大,可靠和易于使用而闻名。在本文中,我们将向您展示如何备份,还原和迁移MongoDB数据库。

1044
来自专栏青枫的专栏

day24_Nginx学习笔记

     反向代理方式实际上就是一台负责转发的代理服务器,貌似充当了真正服务器的功能,但实际上并不是,代理服务器只是充当了转发的作用,并且从真正的服务器那里取得...

613
来自专栏腾讯云Elasticsearch Service

使用filebeat收集ES集群运行日志和慢日志并写入到ES

Elasticsearch集群运行过程中,运行日志和慢日志能够帮助集群使用者迅速定位出现的问题。

1242
来自专栏nice_每一天

转载《分布式任务调度平台XXL-JOB》

XXL-JOB是一个轻量级分布式任务调度框架,其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线,开箱即用。

982
来自专栏纯洁的微笑

分布式文件系统FastDFS详解

上一篇文章《一次FastDFS并发问题的排查经历》介绍了一次生产排查并发问题的经历,可能有些人对FastDFS不是特别的了解,因此计划写几篇文章完整的介绍一下这...

3185
来自专栏nice_每一天

分布式任务调度平台XXL-JOB

XXL-JOB是一个轻量级分布式任务调度框架,其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线,开箱即用。

1312
来自专栏Kubernetes

原 荐 基于Kubernetes的ESaaS

概述 ESaaS(ElasticSearch as a Service)是ElasticSearch on Kubernetes的产品实现,是利用Docker和...

2938

扫码关注云+社区