专栏首页Python中文社区如何简单高效地部署和监控分布式爬虫项目

如何简单高效地部署和监控分布式爬虫项目

图为本项目来自Scrapy官方账号的推荐

作者:my8100,Python 开发爱好者。

GitHub:github.com/my8100

一、需求分析

初级用户:

  • 只有一台开发主机
  • 能够通过 Scrapyd-client 打包和部署 Scrapy 爬虫项目,以及通过 Scrapyd JSON API 来控制爬虫,感觉命令行操作太麻烦,希望能够通过浏览器直接部署和运行项目

专业用户:

  • 有 N 台云主机,通过 Scrapy-Redis 构建分布式爬虫
  • 希望集成身份认证
  • 希望在页面上直观地查看所有云主机的运行状态
  • 希望能够自由选择部分云主机,批量部署和运行爬虫项目,实现集群管理
  • 希望自动执行日志分析,以及爬虫进度可视化
  • 希望在出现特定类型的异常日志时能够及时通知用户,包括自动停止当前爬虫任务

二、动图预览

集群多节点部署项目和运行爬虫:

三、安装和配置

1、请先确保所有主机都已经安装和启动 Scrapyd,如果需要远程访问 Scrapyd,则需将 Scrapyd 配置文件中的 bind_address 修改为 bind_address = 0.0.0.0,然后重启 Scrapyd。

2、开发主机或任一台主机安装 ScrapydWebpip install scrapydweb

3、运行命令 scrapydweb -h将在当前工作目录生成配置文件 scrapydweb_settings.py,可用于下文的自定义配置。

4、启用 HTTP 基本认证:

ENABLE_AUTH = True
USERNAME = 'username'
PASSWORD = 'password'

5、添加 Scrapyd server,支持字符串和元组两种配置格式,支持添加认证信息和分组/标签:

SCRAPYD_SERVERS = [
    '127.0.0.1',
    # 'username:password@localhost:6801#group',
    ('username', 'password', 'localhost', '6801', 'group'),
]

6、通过运行命令 scrapydweb 启动 ScrapydWeb

四、访问 Web UI

通过浏览器访问并登录 http://127.0.0.1:5000

  • Overview 页面自动输出所有 Scrapyd server 的运行状态
  • 通过分组和过滤可以自由选择若干台 Scrapyd server,调用 Scrapyd 提供的所有 HTTP JSON API,实现一次操作,批量执行

五、部署项目

  • 支持指定若干台 Scrapyd server 部署项目
  • 通过配置 SCRAPY_PROJECTS_DIR 指定 Scrapy 项目开发目录,ScrapydWeb 将自动列出该路径下的所有项目,选择项目后即可自动打包和部署指定项目:
  • 如果 ScrapydWeb 运行在远程服务器上,除了通过当前开发主机上传常规的 egg 文件,也可以将整个项目文件夹添加到 zip/tar/tar.gz 压缩文件后直接上传即可,无需手动打包:

六、运行爬虫

  • 通过下拉框直接选择 project,version 和 spider
  • 支持传入 Scrapy settings 和 spider arguments
  • 同样支持指定若干台 Scrapyd server 运行爬虫

七、日志分析和可视化

  • 默认情况下,ScrapydWeb 将在后台定时自动读取和分析 Scrapy log 文件并生成 Stats 页面
  • 爬虫进度可视化

八、邮件通知

基于后台定时读取和分析 Scrapy log 文件,ScrapydWeb 将在满足特定触发器时发送通知邮件,邮件正文包含当前运行任务的统计信息。

1、添加邮箱帐号:

SMTP_SERVER = 'smtp.qq.com'
SMTP_PORT = 465
SMTP_OVER_SSL = True
SMTP_CONNECTION_TIMEOUT = 10

FROM_ADDR = 'username@qq.com'
EMAIL_PASSWORD = 'password'
TO_ADDRS = ['username@qq.com']

2、设置邮件工作时间和基本触发器,以下示例代表:每隔1小时或某一任务完成时,并且当前时间是工作日的9点,12点和17点,ScrapydWeb 将会发送通知邮件。

EMAIL_WORKING_DAYS = [1, 2, 3, 4, 5]
EMAIL_WORKING_HOURS = [9, 12, 17]
ON_JOB_RUNNING_INTERVAL = 3600
ON_JOB_FINISHED = True

3、除了基本触发器,ScrapydWeb 还提供了多种触发器用于处理不同类型的 log,包括 'CRITICAL', 'ERROR', 'WARNING', 'REDIRECT', 'RETRY' 和 'IGNORE'等。

LOG_CRITICAL_THRESHOLD = 3
LOG_CRITICAL_TRIGGER_STOP = True
LOG_CRITICAL_TRIGGER_FORCESTOP = False
#...
LOG_IGNORE_TRIGGER_FORCESTOP = False

以上示例代表:当发现3条或3条以上的 critical 级别的 log 时,ScrapydWeb 自动停止当前任务,如果当前时间在邮件工作时间内,则同时发送通知邮件。

九、GitHub 开源

活捉几只官方大佬,赶紧前去围观吧,别忘了 Star 噢!

https://github.com/my8100/scrapydweb

本文分享自微信公众号 - Python中文社区(python-china)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-11-24

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 我是如何零基础开始能写爬虫的

    利用这些数据,可以做很多领域的分析、市场调研,获得很多有价值的信息,可以应用在很多的工作场景,于是果断开始学习。

    Python中文社区
  • 用Python分析《权力的游戏》

    專 欄 ❈ 作者:麦艳涛,挖掘机小王子,数据分析爱好者。 原文链接:https://zhuanlan.zhihu.com/p/28475619 ❈ 一:简介 ...

    Python中文社区
  • 不踩坑的Python爬虫:如何在一个月内学会爬取大规模数据

    Python爬虫为什么受欢迎 如果你仔细观察,就不难发现,懂爬虫、学习爬虫的人越来越多,一方面,互联网可以获取的数据越来越多,另一方面,像 Python这样的...

    Python中文社区
  • 一步步封装实现自己的网络请求框架 2.0

    在今年的二月份,我在发布本 Repo:基于 ViewModel + LiveData + Retrofit + RxJava 封装的网络请求框架 的同时,也写了...

    叶应是叶
  • Python中使用codecs解决生僻

    python处理文本的时候时常会遇到生僻字出现的处理异常,查了很多资料,发现codecs可以解决这个问题,这里列举一个从excel中读取数据并写入csv中的实例...

    py3study
  • Chat预告:如何用 Python 爬取网页制作电子书

    孙亖
  • 网络安全法与AiLPHA大数据智能分析平台

    《中华人民共和国网络安全法》于2016年11月7日经十二届全国人大常委会第二十四次会议表决通过后,并于2017年6月1日起正式实施。网络安全法的正式施行,不仅从...

    安恒信息
  • 关于shared pool的深入探讨(六)

    http://www.eygle.com/internal/shared_pool-6.htm

    数据和云01
  • 如何像Elon一样演示你的模型

    想必很多人都看过Elon在上古时期的演示手势控制的视频吧,那个时候他拿着leap motion,兴奋的讨论着设计、交互的未来。

    UDM Lab
  • [杂谈] 为什么卖产品的比做产品的挣得多

    昨天有个同学提醒我曾经答应他一篇文章。翻开我记录的读者留言,发现我的确是在三周前记录了这么个写作线索。原文很长,就不在此粘贴,大意是他们公司里程序员的工作非常辛...

    tyrchen

扫码关注云+社区

领取腾讯云代金券