前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >爬虫小工具-copyheader

爬虫小工具-copyheader

作者头像
爬虫
发布2018-04-08 12:07:26
8310
发布2018-04-08 12:07:26
举报
文章被收录于专栏:Python与爬虫Python与爬虫

大家写爬虫的,肯定知道如何伪造请求头了,那么你们是如何做的呢?

首先,来看看我之前是如何做的,有多烦我就不说了...

如果有小伙伴是和我一样,那么请帮忙把这篇文章分享出去~

那我现在怎么是怎么做的呢?

可以发现复制请求头很简单了,只要把请求头全部copy下来,然后用headers_raw_to_dict 转一下,就直接变成了dict了.

如何安装呢

pip install copyheaders

就可以了~

如何使用呢

先找到你要复制的请求头,并且复制

  1. # 引入python包
  2. from copyheaders import headers_raw_to_dict
  3. impore requests
  4. # 把刚刚复制的请求头复制进来
  5. r_h = b'''
  6. Accept:text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8
  7. Accept-Encoding:gzip, deflate, br
  8. Accept-Language:zh-CN,zh;q=0.9,zh-TW;q=0.8
  9. Cache-Control:max-age=0
  10. Connection:keep-alive
  11. Cookie:_gauges_unique_month=1; _gauges_unique_year=1; _gauges_unique=1; _gauges_unique_hour=1; _gauges_unique_day=1
  12. DNT:1
  13. Host:httpbin.org
  14. Referer:https://httpbin.org/
  15. Upgrade-Insecure-Requests:1
  16. User-Agent:Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36
  17. '''
  18. # 转换成字典
  19. headers = headers_raw_to_dict(r_h)
  20. # 然后就可以直接使用了~
  21. z = requests.get('https://httpbin.org/headers',headers=headers
本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2018-01-17,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 Python爬虫分享 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档