前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >scrapy如何顺序执行多个爬虫

scrapy如何顺序执行多个爬虫

作者头像
企鹅号小编
发布2018-01-29 16:38:34
2.1K0
发布2018-01-29 16:38:34
举报
文章被收录于专栏:大数据

scrapy如何单线程顺序执行多个爬虫,刚开始我天真的以为将多个excute顺序罗列就能依次执行每个爬虫了,代码如下所示:

谁料,在执行完第一个爬虫之后,整个程序就停止运行了。到底是什么原因呢?笔者在 Stack Overflow 上找到了类似的问题( https://stackoverflow.com/questions/24875280/scrapy-cmdline-execute-stops-script )。得知问题的原因在于 方法中的最后一句代码是 ,所以当程序执行完一个execute语句后便停止了。

那么,这个问题该如何解决呢?

思路1:测试 能不能执行多个命令,即在 方法中设置多个参数,或用列表的形式将多个命令组合在一起进行执行。--经测试,不行!

思路2:既然 可以执行一条 命令,那么在 中有没有类似 的命令,它可以执行一个由多条命令组合在一起的列表命令集呢。--经测试,不行!

思路3:寻找可以替换 的命令,只要能执行命令即可。

方法一: (这也是我所遇到的最简单方法)

下面的两种方法,笔者并没有尝试成功,暂时写在这里,有待进一步研究。

方法二:

方法三:

拓展:如何实现多个爬虫循环顺序爬取

首先设置一个循环,接着为每一个爬虫设置一个定时器,让每一个爬虫爬虫一段时间,再运行下一个爬虫即可。具体代码如下,此处设置每一个爬虫运行3600秒

作者:高正杰

著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

本文来自企鹅号 - Python热爱着媒体

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文来自企鹅号 - Python热爱着媒体

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
大数据
全栈大数据产品,面向海量数据场景,帮助您 “智理无数,心中有数”!
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档