scrapy如何顺序执行多个爬虫

scrapy如何单线程顺序执行多个爬虫，刚开始我天真的以为将多个excute顺序罗列就能依次执行每个爬虫了，代码如下所示：

谁料，在执行完第一个爬虫之后，整个程序就停止运行了。到底是什么原因呢？笔者在 Stack Overflow 上找到了类似的问题（ https://stackoverflow.com/questions/24875280/scrapy-cmdline-execute-stops-script ）。得知问题的原因在于 方法中的最后一句代码是 ，所以当程序执行完一个execute语句后便停止了。

那么，这个问题该如何解决呢？

思路1：测试 能不能执行多个命令，即在 方法中设置多个参数，或用列表的形式将多个命令组合在一起进行执行。--经测试，不行！

思路2：既然 可以执行一条 命令，那么在 中有没有类似 的命令，它可以执行一个由多条命令组合在一起的列表命令集呢。--经测试，不行！

思路3：寻找可以替换 的命令，只要能执行命令即可。

方法一： （这也是我所遇到的最简单方法）

下面的两种方法，笔者并没有尝试成功，暂时写在这里，有待进一步研究。

方法二：

方法三：

拓展：如何实现多个爬虫循环顺序爬取

首先设置一个循环，接着为每一个爬虫设置一个定时器，让每一个爬虫爬虫一段时间，再运行下一个爬虫即可。具体代码如下，此处设置每一个爬虫运行3600秒

作者：高正杰

著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。