开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

社区首页 >问答首页 >暂停CrawlerProcess中的单个爬行器

问暂停CrawlerProcess中的单个爬行器
EN

Stack Overflow用户

提问于 2019-05-13 22:07:07

回答 1查看 50关注 0票数 0

我目前正在从事一个项目，涉及从各种(约50个网站)爬行数据。有一个网站有多个页面我们需要抓取，但这个网站不允许多个会话。(网站已通过身份验证)。

有没有办法暂停一个爬虫，直到另一个蜘蛛完成？

我在过去的一天里一直在研究这个。我发现了一些可以暂停的方法，但似乎这些方法只对整个CrawlerProcess有效。

EN

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/56114106

复制

相似问题