无法从pipeline.py内部阻止Scrapy
无法从pipeline.py内部阻止Scrapy
提问于 2019-07-30 16:56:09
因此，我正在为我的Scrapy数据编写一个验证器，并希望爬行器在数据格式不正确时停止爬行。我正在用Pipeline.py做这件事。
我已经尝试过调用CloseSpider、close_spider和crawler._signal_shutdown(9,0) (它们已经在其他教程中使用过，但由于某些原因在pipeline.py中不起作用)。我知道爬虫不会立即完成，但上面的所有方法似乎都会产生某种错误。有没有一种直接杀死爬虫的方法？
回答 2
Stack Overflow用户
发布于 2019-07-30 21:11:52
你的刮刀仍然工作，因为它的时间表，一定数量的请求和CloseSpider是为正常关闭而创建的。这意味着在crawler关闭之前，所有正在进行的请求都将被取消或完成。你给close_spider() in this way打电话了吗
Stack Overflow用户
发布于 2019-07-30 20:50:47
试着用下面的代码来杀死爬虫的进程：
raise SystemExit页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/57267876
复制相关文章
相似问题
腾讯云开发者
