如何打印Scrapy发送的请求头？
如何打印Scrapy发送的请求头？
提问于 2021-05-31 02:25:08
我想要做的任务是打印scrapy发送的请求头。我在如何使用scrapy中间件方面遇到了一点困难。
我在项目settings.py文件中激活了下载器中间件。
DOWNLOADER_MIDDLEWARES = {
'CarDataPull.middlewares.CardatapullDownloaderMiddleware': 543,
}然后，我将以下行添加到middlewares.py文件内的函数process_request中。
print('I was here')
with open('request_header.txt', 'wb') as a:
a.write(request)我看不到这项功能被激活的任何迹象。
谁能告诉我如何激活那个特定的功能？或者，是否有其他方法可以打印请求标头？
回答 1
Stack Overflow用户
发布于 2021-05-31 22:28:47
在启动时，scrapy返回几个日志条目，包括活动中间件列表。
如果您希望启用中间件，则此日志行[scrapy.middleware] INFO: Enabled downloader middlewares:之后的行应该包含中间件的名称。
如果没有，这意味着你的中间件没有被激活(最常见的情况是中间件路径问题)。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/67764534
复制相关文章
相似问题
腾讯云开发者
