Scrapy：在下载中间件中对URL进行修改
导读
在scrapy中对请求URL进行处理。
- 问题描述：
用scrapy进行爬虫项目时，已进入URL队列的URL失效，需要进行替换。
- 解决方法
Scrapy可以在下载中间件中对URL进行修改。
request.url是传递到中间件的url，是只读属性，无法直接修改。
可以调用_set_url方法，为request对象赋予新的URL。
def process_request(self, request, spider):
old_url = request.url
new_url = request.url.replace("str", "") + "str"
request._set_url(new_url)本文参与 腾讯云自媒体分享计划，分享自作者个人站点/博客。
原始发表：2020年4月16日 ，如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读