对这个框架用的时间很长了,一般如果需要大量抓取的话,就需要用到这个框架,因为相对来说还是挺方便的。
只需要自己专心去解决反爬的问题以及网页解析。其他的包括保存到数据库,保存文件这些都是只需要配置好相应的配置文件即可。
今天就写一下,我自己学到的关于框架的知识。肯定会有遗漏或者描述不准确的地方,所以大家碰到了帮我指出来,留言或者私信都行。不过估计原理都不喜欢看。
上一篇有一张图片,我再贴一次:
Scrapy 使用了 Twisted['twɪstɪd]
(其主要对手是Tornado)异步网络框架来处理网络通讯,可以加快我们的下载速度,不用自己去实现异步框架,并且包含了各种中间件接口,可以灵活的完成各种需求。
scrapy的工作流程,我自己画的图:
1.首先Spiders(爬虫)将需要发送请求的url(requests)经ScrapyEngine(引擎)交给Scheduler(调度器)。
2.Scheduler(排序,入队)处理后,经ScrapyEngine,DownloaderMiddlewares(可选,主要有User_Agent, Proxy代理)交给Downloader。
3.Downloader向互联网发送请求,并接收下载响应(response)。将响应(response)经ScrapyEngine,SpiderMiddlewares(可选)交给Spiders。
4.Spiders处理response,提取数据并将数据经ScrapyEngine交给ItemPipeline保存(可以是本地,可以是数据库)。
5. 提取url重新经ScrapyEngine交给Scheduler进行下一个循环。直到无Url请求程序停止结束。
这就是基本的原理了,
URL ---> 会包装成requests ---> 引擎 ---> 调度器 --->将这个requests排序,入队列操作后 ---> 引擎 ---> 下载器 ---> 请求网页获取response---> 爬虫spiders(解析响应的数据) ---> 管道(保存数据)
---> 新的URL新的requests(继续循环,直到没有URL)
这个如果是图的话,是比较清楚的。不过上面已经好多图了,就不画图了。这个就是整个的scrapy的工作流程,包括他里面的一些简单的部分的原理。
其实就是给大家说明了一下这个框架是怎么工作的。
当然还有更多没说的部分,包括配置去重,以及如何增量爬取。如何增加代理池,增加UA池,增加cookie池,增加日志模块等。这些都是需要去考虑的,这样下来才是一个完整的框架。
这个就先说这么多吧,字太多不好。
精彩推荐
本文分享自 Python爬虫scrapy 微信公众号,前往查看
如有侵权,请联系 cloudcommunity@tencent.com 删除。
本文参与 腾讯云自媒体同步曝光计划 ,欢迎热爱写作的你一起参与!