专栏作者简介
七 夜
信息安全研究人员,比较擅长网络安全、逆向工程、Python爬虫开发、Python Web开发。
博客园:http://cnblogs.com/qiyeboy/
CSDN:http://blog.csdn.net/qiye_/
Github:https://github.com/qiyeboy/
突破反爬虫的一个常用做法是使用代理IP,可以是作为初学者或者个人来说,买一些代理ip成本稍微高一些,因此最近写了一个开源项目IPProxys,用来为个人提供代理ip。
IPProxys原理:通过爬取各大代理网站提供的免费IP,进行去重,并验证ip的可用性,将有效的ip存储到sqlite中,并提供一个HTTP接口供爬虫程序获取ip。
IPProxys项目已经上传到github中,链接为https://github.com/qiyeboy/IPProxys。下面对整个项目工程进行一下说明,如下图所示:
整个项目的代码量不大,大家可以根据自己的需求进行修改,也可以提出自己的想法和建议帮助我改进这个项目。
如何使用IPProxys项目呢?
1.将项目目录clone到当前文件夹
$ git clone
2.切换工程目录
$ cd IPProxys
3.运行脚本
python IPProxys.py
windows上运行效果如下图所示:
项目依赖项:
当IPProxys运行起来后,外部的爬虫如何获取ip呢? 外部的爬虫只需要向IPProxys所在主机的8000端口发送GET请求即可。GET请求的参数为:
例如:
访问http://127.0.0.1:8000/?types=0&count=5&country=中国这个链接的含义是获取5个ip地址在中国的高匿代理。响应为JSON格式,返回数据为:[{"ip": "220.160.22.115", "port": 80}, {"ip": "183.129.151.130", "port": 80}, {"ip": "59.52.243.88", "port": 80}, {"ip": "112.228.35.24", "port": 8888}, {"ip": "106.75.176.4", "port": 80}]
一般爬取到的有效ip大约有60个左右,基本上满足个人的需要。