我可以暂停网页抓取程序吗?我使用设置中的下载延迟来延迟URL之间的延迟,但我也想在代理之间暂停我的程序。我使用多个代理来抓取几个URL。我有4-5网址每个代理。因此,在它抓取了代理上的所有URL之后,我想让它暂停一段时间(可能是10-15分钟),然后转到下一个代理并抓取这些URL。 # Import from other python files and scrapy files and the needed csv file containing all URLs/proxies/uaimport scrapy
from scrapy.spiders import