首页
学习
活动
专区
工具
TVP
发布

500行Python 代码构建一个轻量级爬虫框架

关键时刻,第一时间送达!

引言

玩 Python 爬虫有段时间了,但是目前还是处于入门级别。xcrawler 则是利用周末时间构建的一个轻量级的爬虫框架,其中一些设计思想借鉴了著名的爬虫框架 Scrapy 。既然已经有像 Scrapy 这样优秀的爬虫框架,为何还要造轮子呢?嗯,其实最主要的还是想要将学习到 Python 知识综合起来,提高一下自己。

Features

简单、易用;

易于定制的 Spider ;

多线程实现并发下载。

待改进

更多的测试代码;

添加更多的网站爬虫示例;

完善爬虫调度,支持 Request 优先级调度。

xcrawler 介绍

项目结构

Crawler engine (生产者+消费者模型)

引擎启动时会启动一个后台线程池,后台线程池负责下载由调度器提供给它的所有 URL (Request),并将响应(Response)结果存放到队列中;

引擎的前台解析线程会不断消费处理队列中的响应(Response),并调用相应 Spider 的解析函数处理这些相应;

引擎负责处页面理解析回来的对象,所有的 对象都会被放到队列中(递归抓取时)等待处理,所有的字典对象(item)送给 Spider 的 方法处理。

配置介绍

配置项目

: 每批次之间的下载延迟(单位为秒),默认为 0;

:下载等待延迟,默认为 6 秒;

:即当下载超时后,对应的请求是否应该重试;

:并发下载数;

:请求队列大小,当队列已满时,会阻塞后续的请求。

示例配置:

Spider 基类关键方法介绍

:该方法会在引擎启动时被触发调用,你可以通过继承该方法进行一些初始化工作,比如配置 pipeline 输出文件或者数据库连接等等;

:该方法会在引擎处理空闲状态(即没有任何 requests 在队列)时被触发调用,你可以通过继承该方法给引擎添加新的请求等(使用 即可);

:该方法会在引擎关闭时触发调用,你可以通过继承该方法并在 Spider 结束工作前做一些清理工作,如关闭文件管道、关闭数据库连接等;

:该方法会为引擎提该 Spider 的对应种子请求;

:该方法会为你的 URL 创建一个 Request 对象;

:该方法为请求的默认解析函数回调,当然你可以可以在创建 Request 时指定其它的回调函数;

:每当引擎处理一个 Spider 对应的请求时,该方法会被触发调用,你可以通过继承该方法对 request 做些设置,比如更换随机的 User - Agent ,替换 Cookies 或者代理等;当然,你可以将 request 设置为 None 从而忽略该请求;

:每当引擎处理一个 Spider 对应的响应时,该方法会被触发调用;

:每当引擎处理一个 Spider 对应的 item 时,该方法会被触发调用,你可以通过继承该方法将抓取并解析到的 item 存储到数据库或者本地文件中。

注意

你可以在一个 Crawler 进程中装入不同的 Spider class ,但需要保证不同的 Spider 的名称也要不同,否则会被引擎拒绝;

需要根据情况调整下载延迟和并发数大小;下载延迟尽量不要太大,否则每批请求可能会等待较长时间才会处理完成,从而影响爬虫性能;

Windows 下的测试还没做,我用的是 Ubuntu ,所以如果您有什么问题,欢迎反馈哈!

安装

请移步项目主页 xcrawler (https://github.com/chrisleegit/xcrawler) 下载源码;

请保证你的安装环境为 ;

请使用 安装即可。

示例

版权声明

作者:chris@克里斯的小屋

原文:http://blog.chriscabin.com/coding-life/webcrawler/xcrawler/1512.html

Python开发整理发布,转载请联系作者获得授权

  • 发表于:
  • 原文链接http://kuaibao.qq.com/s/20180322B1GKVO00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券