我已经构建了多个爬虫程序,并希望使用CrawlerProcess
同时运行它们。但是,在构建爬行器时,我对其进行了设置,这样它们的运行速度会稍慢一些,并且会有下载延迟。当单独运行爬虫时,设置工作得很好,但当我运行所有四个爬虫时,它的爬行速度非常快,一些网站将我踢出网络。我想知道的是为什么CrawlerProcess
不遵循设置,如果有一种方法可以实现这一点,我该如何实现。
下面是我如何设置它的:
TMP_FILE = os.path.join(os.path.dirname(sys.modules['items'].__file__), 'tmp/items.csv')
process = CrawlerProcess({
'FEED_FORMAT': 'csv',
'FEED_URI': TMP_FILE,
})
process.crawl(Spider1)
process.crawl(Spider2)
process.crawl(Spider3)
process.crawl(Spider4)
process.start()
https://stackoverflow.com/questions/53747127
复制相似问题