爬虫与反爬虫的博弈

1 前言

近来这两三个月,我陆续将自己学到的爬虫技术分享出来。以标准网络库 urllib 的用法起笔,接着介绍各种内容提供工具,再到后续的 scrapy 爬虫框架系列。我的爬虫分享之旅已经接近尾声了。本文就来聊聊如何防止爬虫被 ban 以及如何限制爬虫。

2 介绍

我们编写的爬虫在爬取网站的时候,要遵守 robots 协议,爬取数据做到“盗亦有道”。在爬取数据的过程中,不要对网站的服务器造成压力。尽管我们做到这么人性化。对于网络维护者来说,他们还是很反感爬虫的。因为爬虫的肆意横行意味着自己的网站资料泄露,甚至是自己刻意隐藏在网站的隐私的内容也会泄露。所以,网站维护者会运用各种方法来拦截爬虫。

3 攻防战

  • 场景一

:检测请求头中的字段,比如:User-Agent、referer等字段。

:只要在 http 请求的 headers 中带上对于的字段即可。下图中的七个字段被大多数浏览器用来初始化所有网络请求。建议将以下所有字段都带上。

  • 场景二

:后台对访问的 IP 进行统计,如果单个 IP 访问超过设定的阈值,给予封锁。虽然这种方法效果还不错, 但是其实有两个缺陷。 一个是非常容易误伤普通用户, 另一个就是 IP 其实不值钱, 各种代理网站都有出售大量的 IP 代理地址。 所以建议加大频率周期,每小时或每天超过一定次数屏蔽 IP 一段时间(不提示时间)。

:针对这种情况,可通过使用代理服务器解决。同时,爬虫设置下载延迟,每隔几次请求,切换一下所用代理的IP地址。

  • 场景三

:后台对访问进行统计, 如果单个 userAgent 访问超过阈值, 予以封锁。这种方法拦截爬虫效果非常明显,但是杀伤力过大,误伤普通用户概率非常高。所以要慎重使用。 :收集大量浏览器的 userAgent 即可。

  • 场景四

:网站对访问有频率限制,还设置验证码。增加验证码是一个既古老又相当有效果的方法。能够让很多爬虫望风而逃。而且现在的验证码的干扰线, 噪点都比较多,甚至还出现了人类肉眼都难以辨别的验证码(12306 购票网站)。 :python+tesseract 验证码识别库模拟训练,或使用类似 tor 匿名中间件(广度遍历IP)

  • 场景五

:网站页面是动态页面,采用 Ajax 异步加载数据方式来呈现数据。这种方法其实能够对爬虫造成了绝大的麻烦。

:首先用 Firebug 或者 HttpFox 对网络请求进行分析。如果能够找到 ajax 请求,也能分析出具体的参数和响应的具体含义。则直接模拟相应的http请求,即可从响应中得到对应的数据。这种情况,跟普通的请求没有什么区别。

能够直接模拟ajax请求获取数据固然是极好的,但是有些网站把 ajax 请求的所有参数全部加密了。我们根本没办法构造自己所需要的数据的请求,请看场景六。

  • 场景六

:基于 JavaScript 的反爬虫手段,主要是在响应数据页面之前,先返回一段带有JavaScript 代码的页面,用于验证访问者有无 JavaScript 的执行环境,以确定使用的是不是浏览器。例如淘宝、快代理这样的网站。

这种反爬虫方法。通常情况下,这段JS代码执行后,会发送一个带参数key的请求,后台通过判断key的值来决定是响应真实的页面,还是响应伪造或错误的页面。因为key参数是动态生成的,每次都不一样,难以分析出其生成方法,使得无法构造对应的http请求。

:采用 selenium+phantomJS 框架的方式进行爬取。调用浏览器内核,并利用phantomJS 执行 js 来模拟人为操作以及触发页面中的js脚本。从填写表单到点击按钮再到滚动页面,全部都可以模拟,不考虑具体的请求和响应过程,只是完完整整的把人浏览页面获取数据的过程模拟一遍。

推荐:学爬虫之道

上文:学会运用爬虫框架 Scrapy (五) —— 部署爬虫

作者:猴哥,公众号:极客猴。爱好读书,喜欢钻研技术,梦想成为文艺青年的IT Boy。

- END -

原文发布于微信公众号 - 极客猴(Geek_monkey)

原文发表时间:2017-10-14

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Java架构师学习

通过 Java 线程堆栈进行性能瓶颈分析

31460
来自专栏原创

五个最佳案例带你解读Node.js的前后之道

Node.js 是什么? Node.js采用C++语言编写而成,浏览器内核V8做为执行引擎;Node不是JS应用、而是一个Javascript的运行环境。Nod...

411100
来自专栏架构师之路

细聊分布式ID生成方法

一、需求缘起 几乎所有的业务系统,都有生成一个记录标识的需求,例如: (1)消息标识:message-id (2)订单标识:order-id (3)帖子标识:t...

43650
来自专栏xingoo, 一个梦想做发明家的程序员

ADX3000二层的负载均衡设计问题

我的想法是 想在现有的局域网内部,利用ADX划分出一个新的局域网,模拟负载均衡。 现在有三台试验机器,拓扑图如下: ? 各个机器IP设置如下图: 我进行了如下的...

24650
来自专栏MasiMaro 的技术博文

hexo next主题为博客添加分享功能

title: hexo next主题为博客添加分享功能 date: 2018-01-06 20:20:02 tags: [hexo博客, 博客配置] ca...

1.2K20
来自专栏H2Cloud

游戏服务器设计之任务系统

游戏服务器设计之任务系统 介绍 任务系统是游戏中最重要的系统之一,本文旨在设计一个轻量清晰的任务系统。通用易扩展是本系统关注的重点。任务系统中当角色的条件满足时...

80540
来自专栏PHP在线

关系型数据库与NoSQL数据库场景说明

一个程序员很有必要熟悉或者精通一种数据库,MySQL无疑是首选。为什么使用MySQL呢,因为它是开源的,同时具备轻量、简单、稳定和高性能等特点,尤其是其学习成本...

36860
来自专栏SDNLAB

SDN实战团分享(三十一):Nutanix超融合之架构设计

超融合平台 针对于超融合的概念有着不同的理解,因为组件不同(虚拟化、网络等)而理解不同。然而,核心的概念如下:天然地将两个或多个组件组合到一个独立的单元 中。在...

41170
来自专栏应用案例

主题建设之主题表

亿信BI中的分析表大多数都是基于主题表而创建的。那什么是主题?什么是主题表?主题表分哪几种类型、何种场景下使用、又是如何创建的?不同类型的主题表有什么区别等等,...

27480
来自专栏VMCloud

【解析向】腾讯云的Windows Server日志配置收集工具是个什么鬼?(2)

继上一篇,上一篇重点介绍了腾讯云Windows Server日志收集工具的“场景”功能,那么场景功能究竟是以什么标准来分级的呢?

43670

扫码关注云+社区

领取腾讯云代金券