我正在使用Scrapy默认RetryMiddleware尝试重新下载失败的URL。我想以这样的方式处理页面,它在响应时获得了429个状态代码(“请求太多”)。在实际重试下载页面之前,试图定义以前失败的原因。因此,response_status_message方法尝试使用状态代码和状态文本创建字符串,例如 '404 N
每个人~我都学会使用scrapy.Request(),errback的参数。我遵循编写我的代码,我发现只有HttpError。response>HttpError on http://www.httpbin.org/status/500<<<<
<twisted.python.failure.Failur
我试图让我的蜘蛛浏览一个列表,刮掉所有的url--它可以在它们后面找到,抓取一些数据,然后返回到下一个未刮掉的链接上--如果我运行这个蜘蛛--我可以看到它返回到起始页面,但是尝试再次抓取相同的页面,然后退出对python来说非常新的任何代码建议。,但我希望它继续使用下一个未刮掉的链接2016-07-18 12:11:20 [scrapy] DE