Python 实战:用 Scrapyd 打造爬虫控制台

Scrapyd 是业内最优秀的爬虫框架之一 Scrapy 官方出品的部署管理平台。有了它,你就可以通过 API 向指定的爬虫发起指令,并且可以通过 Web 页面来查看爬虫的运行记录与状态等信息。

将爬虫部署到服务器是大部分爬虫工程师必备的技能,这个技能可以为你的职业价值锦上添花。

网上关于 Scrapyd 的资料比较少,除了官方文档之外,只有一些比较零散的教程文章,远远无法满足大部分开发者的技能需求。

于是,一位资深爬虫工程师、开源项目 ScrapydArt 作者-韦世东撰写了一本小册子,梳理了自己多年爬虫项目实践经验,以帮助更多工程师逐步实现「唯你可用」的爬虫部署管理控制台。

册子分为几个大的部分:

基础篇:熟练应用打包工具,学会爬虫的打包和部署

进阶篇:代码调试方法以及源码阅读技巧

实战篇:装饰器知识的原理和应用

大型实战篇:基于 Scrapyd 进行扩展的能力

小册子将通过 Scrapy 项目打包部署、Scrapyd 目录结构分析、功能模块释义和源码剖析来深入浅出的讲解相关功能的原理,并且通过自定义 API、增加统计数据和界面美化等实践来进一步加深你对 Scrapyd 的理解。最终达到可以随心所欲的将 Scrapyd 的功能进行扩展,从而实现自己想要的爬虫部署管理控制台。

这本册子,是迄今为止,对 Scrapyd 总结的相当通俗,全面,而且理论结合实践的资料。小册图文并茂,直观易懂,下面的动画大家感受一下。

有没有感受到册子的诚意?

为了写出更好的文字,更好服务技术人,小册子选择了收取一些费用。该册子,通过下方海报购买是8折优惠,23.92元,限时一周

目前一些章节免费,欢迎扫码阅读。

扫码免费阅读部分章节

对Scrapy不感兴趣也没关系,大家帮转发一下,让更多的原创干货被更多的技术人看到,感谢

  • 发表于:
  • 原文链接:https://kuaibao.qq.com/s/20181030A098XK00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。

扫码关注云+社区

领取腾讯云代金券