pycharm请求头一键转换为字典

我们在写爬虫的时候经常需要拷贝浏览器的请求头来使用,但是拷贝过来的并不是字典不能直接使用,怎么能一键转换其为字典形式呢,下面介绍几种方式:

方法一,不够优雅:

方法二

可以发现复制请求头很简单了,只要把请求头全部copy下来,然后用headers_raw_to_dict 转一下,就直接变成了dict了.

推荐方法

方法三

借助IDE的正则替换(PyCharm为例) PyCharm中替换的快捷键是Ctrl+R,选中Regex正则模式

212121.gif

源匹配为 (.): (.)$ 替换匹配为 "$1": "$2",

方法四:Chrome插件Postman

Postman是很强大的调试工具,但是目前Google已经放弃了Chrome App,目前在商店里只能直接搜索到插件。

你可以安装插件以后点击链接获取Postman App:

开启Postman Interceptor,访问的任意请求都会被Postman截获。 在Postman点击请求-Code-选择Python-选择相应方式即可。

可以看到Postman支持非常多种语言的导出。 可以看到Postman的确是个非常强大的工具,甚至可以直接帮我们生成requests代码了,而不仅仅是把headers转化为字典… 但是呢,我个人感觉使用Postman来干这件事有种杀鸡焉用牛刀的感觉。这款工具太重了…大家需要衡量学习成本,只做爬虫而不做Web开发的话估计用的会少一些。另一方面就是可能依然有人有人没办法访问Google…

方法五:使用curlconverter

curl.trillworks.com/ 使用这个方法前我们需要知道什么是curl。 curl是Linux命令行下的文件传输工具,可以直接访问URL,支持多种协议和参数设置甚至cookie设置。简单来说,就是可以模拟一个请求。 Chorme浏览器的开发工具支持直接copy as curl,所以我们只需要这么做: 在开发工具中选中请求copy as curl,然后粘贴到网站表单中,获得Python代码。这个网站只支持Python、NodeJS和PHP。这种轻量级的方法应该是最方便的一种了…

这又是一篇非常实用的技巧文章,我之前一直实用方式一,看过这篇文章后,就使用正则表达式那种方式,真的很方便的。

原文发布于微信公众号 - python爬虫实战之路(gh_f26a568fdea8)

原文发表时间:2018-05-19

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏一名合格java开发的自我修养

计算机操作系统之存储管理

内存的回收与分配,地址变换(程序中的逻辑地址与内存中的物理地址之间的转换),内存扩充(借助虚拟技术或覆盖技术从逻辑上扩充内存容量),内存保护(保证进入内存的各道...

651
来自专栏北京马哥教育

一万两千字长文,六大问题为你解读计算机

1描述计算机的组成及其功能 电子计算机,亦称电脑,是一种利用电子学原理,根据一系列指令对数据进行处理的工具 计算机及其组成 计算机是什么       电子计...

37110
来自专栏智能大石头

NewLife.Net——构建可靠的网络服务

老规矩,先上源码:https://github.com/nnhy/NewLife.Net.Tests

1140
来自专栏PHP实战技术

ThinkPHP之另类RBAC效果

admin最高权限的用户只有一个,他将不参与判断,直接显示全部

2475
来自专栏谭广健的专栏

【小程序-云开发】手把手教你使用云开发(数据库开发)

继上一次程序员哥哥简单开发了一个照片储存小程序后,感觉还是有些小小缺陷,就是没办法对上传照片进行文字描述。因为主要都是文字,如果将文字描述再保...

4K1
来自专栏智能大石头

NewLife.Net——构建可靠的网络服务

1533
来自专栏Web项目聚集地

Javascript中的异步

742
来自专栏Golang语言社区

Golang学习--GroupCache的使用

groupcache 是 Brad Fitzpatrick 最新的作品,目标在于取代一部分memcached的功能。以官方的说明是:groupcache ...

5954
来自专栏FreeBuf

ElastAlert监控日志告警Web攻击行为

由于公司需要监控web攻击行为,而因某些原因搭不了waf,才不得不用ElastAlert进行告警,此为前提。 一、ELK安装 Elasticsearch 是一个...

2.1K12
来自专栏张戈的专栏

解决IE响应式的解决方案css3-mediaqueries.js不生效问题

前阵子解决了博客在低版本 IE 下会假死的问题,发现居然是因为我自定义 CSS 的闭合误用了中文大括号导致的! 解决这个问题之后,又发现了另外一个坑:发现博客在...

4029

扫码关注云+社区

领取腾讯云代金券