专栏首页极客猴爬虫与反爬虫的博弈

爬虫与反爬虫的博弈

1 前言

近来这两三个月,我陆续将自己学到的爬虫技术分享出来。以标准网络库 urllib 的用法起笔,接着介绍各种内容提供工具,再到后续的 scrapy 爬虫框架系列。我的爬虫分享之旅已经接近尾声了。本文就来聊聊如何防止爬虫被 ban 以及如何限制爬虫。

2 介绍

我们编写的爬虫在爬取网站的时候,要遵守 robots 协议,爬取数据做到“盗亦有道”。在爬取数据的过程中,不要对网站的服务器造成压力。尽管我们做到这么人性化。对于网络维护者来说,他们还是很反感爬虫的。因为爬虫的肆意横行意味着自己的网站资料泄露,甚至是自己刻意隐藏在网站的隐私的内容也会泄露。所以,网站维护者会运用各种方法来拦截爬虫。

3 攻防战

  • 场景一

:检测请求头中的字段,比如:User-Agent、referer等字段。

:只要在 http 请求的 headers 中带上对于的字段即可。下图中的七个字段被大多数浏览器用来初始化所有网络请求。建议将以下所有字段都带上。

  • 场景二

:后台对访问的 IP 进行统计,如果单个 IP 访问超过设定的阈值,给予封锁。虽然这种方法效果还不错, 但是其实有两个缺陷。 一个是非常容易误伤普通用户, 另一个就是 IP 其实不值钱, 各种代理网站都有出售大量的 IP 代理地址。 所以建议加大频率周期,每小时或每天超过一定次数屏蔽 IP 一段时间(不提示时间)。

:针对这种情况,可通过使用代理服务器解决。同时,爬虫设置下载延迟,每隔几次请求,切换一下所用代理的IP地址。

  • 场景三

:后台对访问进行统计, 如果单个 userAgent 访问超过阈值, 予以封锁。这种方法拦截爬虫效果非常明显,但是杀伤力过大,误伤普通用户概率非常高。所以要慎重使用。 :收集大量浏览器的 userAgent 即可。

  • 场景四

:网站对访问有频率限制,还设置验证码。增加验证码是一个既古老又相当有效果的方法。能够让很多爬虫望风而逃。而且现在的验证码的干扰线, 噪点都比较多,甚至还出现了人类肉眼都难以辨别的验证码(12306 购票网站)。 :python+tesseract 验证码识别库模拟训练,或使用类似 tor 匿名中间件(广度遍历IP)

  • 场景五

:网站页面是动态页面,采用 Ajax 异步加载数据方式来呈现数据。这种方法其实能够对爬虫造成了绝大的麻烦。

:首先用 Firebug 或者 HttpFox 对网络请求进行分析。如果能够找到 ajax 请求,也能分析出具体的参数和响应的具体含义。则直接模拟相应的http请求,即可从响应中得到对应的数据。这种情况,跟普通的请求没有什么区别。

能够直接模拟ajax请求获取数据固然是极好的,但是有些网站把 ajax 请求的所有参数全部加密了。我们根本没办法构造自己所需要的数据的请求,请看场景六。

  • 场景六

:基于 JavaScript 的反爬虫手段,主要是在响应数据页面之前,先返回一段带有JavaScript 代码的页面,用于验证访问者有无 JavaScript 的执行环境,以确定使用的是不是浏览器。例如淘宝、快代理这样的网站。

这种反爬虫方法。通常情况下,这段JS代码执行后,会发送一个带参数key的请求,后台通过判断key的值来决定是响应真实的页面,还是响应伪造或错误的页面。因为key参数是动态生成的,每次都不一样,难以分析出其生成方法,使得无法构造对应的http请求。

:采用 selenium+phantomJS 框架的方式进行爬取。调用浏览器内核,并利用phantomJS 执行 js 来模拟人为操作以及触发页面中的js脚本。从填写表单到点击按钮再到滚动页面,全部都可以模拟,不考虑具体的请求和响应过程,只是完完整整的把人浏览页面获取数据的过程模拟一遍。

推荐:学爬虫之道

上文:学会运用爬虫框架 Scrapy (五) —— 部署爬虫

作者:猴哥,公众号:极客猴。爱好读书,喜欢钻研技术,梦想成为文艺青年的IT Boy。

- END -

本文分享自微信公众号 - 极客猴(Geek_monkey),作者:猴哥

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-10-14

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 爬虫系列的总结

    时光荏苒,四个月时间如流沙般从手心中流逝。这四个月自己算是收获颇多。因为在张哥的影响下,自己渐渐喜欢上写作。自己将所学的爬虫知识、学习心得以及如何学习分享出来。...

    猴哥yuri
  • Python 爬虫入门

    想从零基础开始学习 Python,可以把爬虫可以作为切入点。利用爬虫将基础知识学起来。毕竟兴趣是最好的学习老师。我当初觉得爬取网站数据挺有趣,所以才靠开始学习 ...

    猴哥yuri
  • 学会运用爬虫框架 Scrapy (三)

    上篇文章介绍 Scrapy 框架爬取网站的基本用法。但是爬虫程序比较粗糙,很多细节还需打磨。本文主要是讲解 Scrapy 一些小技巧,能让爬虫程序更加完善。

    猴哥yuri
  • 2018-09-08 近况、打算和一些对爬虫工程师的理解近况打算对爬虫工程师的理解

    前阵子把之前在博客上写的所有关于爬虫的文章都搬到了简书,这导致我在简书的文章总字数直接突破了10W,接着一个残酷的出现了:在这之后的很大一段时间内,我的阅读喜欢...

    林清猫耳
  • 快速入门网络爬虫系列 Chapter01 | 初识网络爬虫

    我们为什么要了解网络爬虫? 因为当今从事科学研究等,需要大量的数据,但是这些数据公开的又非常的少,大量的数据都在大公司的手中。我们这些普通人本身并没有那么多数...

    不温卜火
  • 安全报告 | 2018上半年互联网恶意爬虫分析:从全景视角看爬虫与反爬虫

    云鼎实验室
  • 资源整理 | 32个Python爬虫项目让你一次吃到撑!

    今天为大家整理了32个Python爬虫项目,大家可以自行前往GitHub搜索,或者直接留言,我会给大家发送相关链接~谢谢! WechatSogou [1]- 微...

    小小科
  • Python爬虫之爬虫概述

    网络爬虫(又被称为网页蜘蛛,网络机器人)就是模拟客户端(主要指浏览器)发送网络请求,接收请求响应,一种按照一定的规则,自动地抓取互联网信息的程序。

    海仔
  • 【程序源代码】python爬虫

    多种电商商品数据爬虫,整理收集爬虫练习。每个项目都是成员写的。通过实战项目练习解决一般爬虫中遇到的问题。通过每个项目的 readme,了解爬取过程分析。对于精通...

    程序源代码
  • 那些你不知道的爬虫反爬虫套路

    爬虫与反爬虫,是一个很不阳光的行业。 这里说的不阳光,有两个含义。 第一是,这个行业是隐藏在地下的,一般很少被曝光出来。很多公司对外都不会宣称自己有爬虫团队,甚...

    小小科

扫码关注云+社区

领取腾讯云代金券