文章/答案/技术大牛

发布

社区首页 >问答首页 >如何打印Scrapy发送的请求头？

问如何打印Scrapy发送的请求头？
EN

Stack Overflow用户

提问于 2021-05-31 02:25:08

回答 1查看 47关注 0票数 1

我想要做的任务是打印scrapy发送的请求头。我在如何使用scrapy中间件方面遇到了一点困难。

我在项目settings.py文件中激活了下载器中间件。

DOWNLOADER_MIDDLEWARES = {
    'CarDataPull.middlewares.CardatapullDownloaderMiddleware': 543,
}

然后，我将以下行添加到middlewares.py文件内的函数process_request中。

 print('I was here')
 with open('request_header.txt', 'wb') as a:
     a.write(request)

我看不到这项功能被激活的任何迹象。

谁能告诉我如何激活那个特定的功能？或者，是否有其他方法可以打印请求标头？

发布于 2021-05-31 22:28:47

在启动时，scrapy返回几个日志条目，包括活动中间件列表。

如果您希望启用中间件，则此日志行[scrapy.middleware] INFO: Enabled downloader middlewares:之后的行应该包含中间件的名称。

如果没有，这意味着你的中间件没有被激活(最常见的情况是中间件路径问题)。

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/67764534

复制

相似问题

问如何打印Scrapy发送的请求头？EN