前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Python爬虫,反爬手段之防盗链的处理

Python爬虫,反爬手段之防盗链的处理

作者头像
云飞
发布2018-09-14 10:57:48
3.1K0
发布2018-09-14 10:57:48
举报

防盗链原理

我们日常访问网页,如果从一个网页跳转到另一个网页,http 头字段里面会带个 Referer的参数。那么图片服务器通过检测 Referer 是否来自指定域名,来进行防盗链。当然,不止图片服务器,有的视频服务器也采用了这种方式,比如B站!

简单点说,服务器会判断你是否从规定的域名来访问图片或者视频,如果是那么就正常显示,不是的话,会跳转到别的地方,那么我们用爬虫所采集的图片就会出现问题!我们来通过一个实例看看是怎么回事。

实例说明

上图是某图片网站的header截图,可以看到里面的Referer参数,写个代码看看

这里,取出了该页面的图片,直接用浏览器打开看看(建议换一个浏览器,打开会看到下面的效果)

直接被拒绝访问了!当然也可以试试代码保存,一样是会报错的哦!

解决办法

其实解决办法很简单,加入header,然后把Referer写入即可!

后记

这只是反爬手段中的一种很常见的,还有很多,慢慢分享给大家!

因为只是一个演示用的代码,写的很简单,如果图片不清楚,或者你遇到了其他的反爬手段,也可以私信或者评论里写一下,一起交流才能更快进步!

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2018-07-28,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 云飞学python 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 防盗链原理
  • 实例说明
  • 解决办法
  • 后记
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档