由爬虫发出并通过管道处理的项目是否有订购保证。
换句话说,如果我的爬行器从它的parse方法中产生items:item1, item2, item3,是否可以保证我的管道将以相同的顺序(item1, item2, item3)处理项目?
发布于 2015-03-30 17:55:13
这是因为yield。当你这样做的时候
yield Request(..........)请求将被无序发送。如果您想要订单,请确保使用RETURN语句发送这些请求。例如:
提取项目返回下一个请求后,
https://stackoverflow.com/questions/29330478
复制相似问题