神龙HTTP带你一览反爬虫策略

网络爬虫技术已经成了很普及网络技术，对于一个内容型驱动的网络站点来说，受到网络爬虫技术的光顾是不可避免的。优秀的爬虫技术不会干扰网站的正常运营，而糟糕的爬虫技术会带来很多麻烦，因为它们的页面抓取能力差，经常并发几十上百个请求循环重复，加大了网络站点的访问压力，导致站点访问速度缓慢，甚至无法访问。

神龙HTTP带你一览反爬虫策略

网站为避免这种情况的发生，会运用到反爬技术。一般从三个方面反爬虫：一般用户请求的Headers，一般用户行为，网络站点目录和数据加载方式。

1.通过Headers反爬虫技术

从一般用户请求的Headers反爬虫技术是最常见的反爬虫技术策略。很多网络站点都会对Headers的User-Agent进行检测，还有一部分网络站点会对Referer进行检测(一些资源网络站点的防盗链就是检测Referer)。如果遇到了这类反爬虫技术机制，可以直接在爬虫技术中添加Headers，将浏览器的User-Agent复制到爬虫技术的Headers中;或者将Referer值修改为目标网络站点域名。对于检测Headers的反爬虫技术，在爬虫技术中修改或者添加Headers就能很好的绕过。

2.基于一般用户行为反爬虫技术

还有一部分网络站点是通过检测一般用户行为，例如同一IP短时间内多次访问同一页面，或者同一账户短时间内多次进行相同操作。

大多数网络站点都是前一种情况，对于这种情况，使用IP代理就可以解决，比如神龙HTTP代理，多平台适用，遍布全国的自营服务器节点。有了大量代理IP后可以每请求几次更换一个IP，这在requests或者urllib2中很容易做到，这样就能很容易的绕过第一种反爬虫技术。

对于第二种情况，可以在每次请求后随机间隔几秒再进行下一次请求。有些有逻辑漏洞的网络站点，可以通过请求几次，退出登录，重新登录，继续请求来绕过同一账号短时间内不能多次进行相同请求的限制。

3.动态页面的反爬虫技术

上述的几种情况大多都是出现在静态页面，还有一部分网络站点，我们需要抓取的数据是通过ajax请求得到，或者通过Java生成的。首先用Firebug或者HttpFox对网络请求进行分析。如果能够找到ajax请求，也能分析出具体的参数和响应的具体含义，我们就能采用上面的方法，直接利用requests或者urllib2模拟ajax请求，对响应的json进行分析得到需要的数据。

反爬虫和爬虫相辅相生，遵守目标站点的规则才是利人利己的好爬虫。