前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >pycharm请求头一键转换为字典

pycharm请求头一键转换为字典

作者头像
星星在线
发布2018-08-21 10:37:05
2.1K0
发布2018-08-21 10:37:05
举报

我们在写爬虫的时候经常需要拷贝浏览器的请求头来使用,但是拷贝过来的并不是字典不能直接使用,怎么能一键转换其为字典形式呢,下面介绍几种方式:

方法一,不够优雅:
方法二

可以发现复制请求头很简单了,只要把请求头全部copy下来,然后用headers_raw_to_dict 转一下,就直接变成了dict了.

推荐方法

方法三

借助IDE的正则替换(PyCharm为例) PyCharm中替换的快捷键是Ctrl+R,选中Regex正则模式

212121.gif

源匹配为 (.): (.)$ 替换匹配为 "$1": "$2",

方法四:Chrome插件Postman

Postman是很强大的调试工具,但是目前Google已经放弃了Chrome App,目前在商店里只能直接搜索到插件。

你可以安装插件以后点击链接获取Postman App:

开启Postman Interceptor,访问的任意请求都会被Postman截获。 在Postman点击请求-Code-选择Python-选择相应方式即可。

可以看到Postman支持非常多种语言的导出。 可以看到Postman的确是个非常强大的工具,甚至可以直接帮我们生成requests代码了,而不仅仅是把headers转化为字典… 但是呢,我个人感觉使用Postman来干这件事有种杀鸡焉用牛刀的感觉。这款工具太重了…大家需要衡量学习成本,只做爬虫而不做Web开发的话估计用的会少一些。另一方面就是可能依然有人有人没办法访问Google…

方法五:使用curlconverter

curl.trillworks.com/ 使用这个方法前我们需要知道什么是curl。 curl是Linux命令行下的文件传输工具,可以直接访问URL,支持多种协议和参数设置甚至cookie设置。简单来说,就是可以模拟一个请求。 Chorme浏览器的开发工具支持直接copy as curl,所以我们只需要这么做: 在开发工具中选中请求copy as curl,然后粘贴到网站表单中,获得Python代码。这个网站只支持Python、NodeJS和PHP。这种轻量级的方法应该是最方便的一种了…

这又是一篇非常实用的技巧文章,我之前一直实用方式一,看过这篇文章后,就使用正则表达式那种方式,真的很方便的。

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2018-05-19,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 python爬虫实战之路 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 推荐方法
    • 方法三
    领券
    问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档