首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >关于反爬虫我见到的各种前后端奇葩姿势

关于反爬虫我见到的各种前后端奇葩姿势

作者头像
十四君
发布2019-11-28 16:53:28
9640
发布2019-11-28 16:53:28
举报
文章被收录于专栏:UrlteamUrlteam

以下方式都是比较有意思而非是非常有效的做法,

一:前端高危数据的特殊显示

去哪儿网、猫眼电影、美团,都可喜欢在价格字体上做文章:

1:去哪儿网

网上表明标注的价格在html源码中竟然不一样,

仔细分析他们的CSS就会发现他们用了一个字体,正常字体是0123456789 在官方字体中替换为:(这是他们以前的做法,现在已经更新因此图来自网络)

或者价格的显示与html中的顺序不同

3:猫眼电影

每次都不同的字符集,需要对应采集一起解码。

4:过去美团也采用过font的思路,用backgfround拼接,数字其实是图片,用不同的偏移量显示不同的字符。还个比较狠的,呈现的数值是SVG矢量图。

5:部分微信公众号会穿插各种蜜汁字符,再用样式调整隐藏他们,比如他:叨逼姐说

6:用display:none来随机化网页源码,有网站还会随机类和id的名字再加点随机的trtd,更加不好捕捉.比如:全网代理ip

7:用css替换固定字–大众点评的评论

二:各种异步加载反复嵌套

1:网易云音乐也怕爬什么都是异步加载嵌套在iframe里的,包括他的整个主页,而且src=”about:blank”

三:别以为后端汉子就不花哨

1:还有的网站识别出爬虫后会反骂一句话:

比如IT桔子,会返回Fack you Spider, 还有个麦子金服会返回一个go away,然后一般我就会解开加密后在hreder里加个呵呵,再发给他。

4:还有ip方面的操作

比如新浪知乎的反爬虫机制会对ip异常或者不带cookie的跳转到访客系统中,如果用模拟登陆就会反复出现验证码,这就涉及到是否是白ip,他的判定机制也和其他网站不同,其他主要是看近期常用登陆地ip为白,他是用注册时ip为白,因此只要用服务器去注册一个号,就基本轻松过了(17年实测)。

还有些佛系反爬虫,每个ip的第一次访问秒回数据,但是第二次就必然sleep 12 秒才返回,这招其实很佛系,你爬可以,别让我老板发现数据量太夸张了。一般这种就程序放着慢慢来吧,因为换个可靠ip也得好几秒。对方这么坦诚咱们也不乱来。

5:网页数据转化为图片的

比如站大爷的免费代理端口数据是扭曲图片构成的数字

原创文章,转载请注明: 转载自URl-team

本文链接地址: 关于反爬虫我见到的各种前后端奇葩姿势

Related posts:

  1. 基于百度IP定位的网站访问来源分析的python实战项目–实践笔记零–项目规划
  2. 淘宝商品信息采集器二,开放源码可自定义关键词进行采集
  3. Python模拟登录的几种方法(转)
  4. Scrapy笔记三 自动多网页爬取-本wordpress博客所有文章
  5. Scrapy笔记四 自动爬取网页之使用CrawlSpider
  6. Scrapy笔记五 爬取妹子图网的图片 详细解析
本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2018-07-252,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 一:前端高危数据的特殊显示
    • 1:去哪儿网
      • 3:猫眼电影
        • 二:各种异步加载反复嵌套
        • 三:别以为后端汉子就不花哨
          • Related posts:
          相关产品与服务
          验证码
          腾讯云新一代行为验证码(Captcha),基于十道安全栅栏, 为网页、App、小程序开发者打造立体、全面的人机验证。最大程度保护注册登录、活动秒杀、点赞发帖、数据保护等各大场景下业务安全的同时,提供更精细化的用户体验。
          领券
          问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档