python爬虫三——创建代理池，爬取5000个代理IP并进行验证

前面已经介绍了urllib+正则表达式和BeautifulSoup进行爬取数据的方法，今天再解决一个实际问题——构建自己的代理池。

通过爬虫在网上进行数据的获取，由于效率很快，换言之，访问的速度过快，导致一段时间内的流量过大，会使得对方的服务器压力过大。一般而言，服务器都会有反爬措施，比如，服务器会检测某个IP在单位时间内的请求次数，如果超过了这个阈值，就会直接拒绝服务，返回一些错误信息，这种情况可以称为封IP。于是维护自己的代理池，每次访问均使用代理池中的随机某个IIP来发送请求，是每个爬虫er的必修课。

今天，我们使用requests库+bs4，对西刺代理的国内高匿免费IP进行爬取，并进行验证，定期更换、维护自己的代理池。

一、网页的检查

西刺代理网下的国内高匿部分，是一个很简单的get请求，唯一变化的就是url：

第一页的url为：https://www.xicidaili.com/nn/1

第二页的url为：https://www.xicidaili.com/nn/2

网页界面如下，很规则，很友好。下面开始写代码。

二、爬取流程

仍按照上篇文章介绍的逻辑，爬取一个网页的数据，整体流程如下：

拼接url 》 请求网页 》 获取响应 》 解析响应 》 保存数据。

1、主函数

由于要爬取多页，需要设置一个循环，另外，把固定不变的一些参数先传输进来。因此，建立一个主函数如下：

2、拼接url

该步只需要一行代码，因此直接写在主函数中。

3、请求网页，获取响应。

主函数要尽量保持简洁，而把复杂的代码通过定义函数来实现，这里的第二步（即请求网页）和第三步（即获取响应）代码较多，这里通过建立函数：req_res来实现，由于urllib库已经介绍过，这里使用requests库来进行实现。代码如下：

4、解析函数

获得响应之后，就要对响应进行解析了。这里也通过建立一个函数来实现。同样还是使用bs4.

代码如下：

5、保存数据

此处代码也较少，直接写在主函数中。

6、完整代码

这样一个爬取代理IP的完整流程代码就完成了。完整代码如下：

三、爬取结果

运行上述代码，西刺代理每页显示100条IP信息，这里以爬取前50页5000条IP信息为例。结果如下：

打开保存到本地的CSV文件，如下。可见5000条信息全部爬取成功。

四、IP验证

IP虽然爬取下来了，但是能不能用确是不一定的，实际上，代理IP一般都是收费的，所以免费的东西，自然没好货，不出意外的话，爬取下来的IP绝大多数是不能用的，所以需要验证下。

这里提供两种方法：

1、利用python。由于使用第二种方法，这里对第一种方法只提供想法。将爬取下来的ip使用requests库的代理方法，进行某个网页的访问，通过判断请求的响应码是否为200来判断ip是否可用（这里应该再加上个响应时间），若响应码为200则保留，否则剔除。但显然，这种方法太浪费时间。

2、利用一个叫花刺代理的软件，安装后，可直接批量检查爬取下来的IP是否可用，这里使用该软件对刚刚爬取下来的5000个IP进行检验。

首先，将刚刚爬取下来的数据通过以下代码：导出IP地址和端口信息，并保存为txt格式（该软件识别txt），代码如下。

运行后，找到保存到本地的txt，如下：

然后，将该txt文件导入到花刺代理软件中，点击“验证全部”，结果如下。

没有看错，5000个IP中只有3个能用，得出一个至理——便宜没好货。

所以平时需要用数量来代替该不足，通过抓取上万个IP来寻找几个有用的。