Scrapy：重写start_requests方法
导读
scrapy的start_requests方法重写，添加更多操作。
有时scrapy默认的start_requests无法满足我们的需求，例如分页爬取，那就要对它进行重写，添加更多操作。
def start_requests(self):
# 自定义功能
yield scrapy.Request(url="http://test.com", method="GET", callback=self.parse)
def parse(self, response):
print(response.url)本文参与 腾讯云自媒体分享计划，分享自作者个人站点/博客。
原始发表：2020年4月16日 ，如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读
目录