爬虫之代理池维护

前言

做过爬虫的应该都知道,在爬取反爬比较强的网站如果同一时间获取的数据量过大就会导致封IP,例如豆瓣,搜狗之类的。那么我们我们的策略就是搭建自己的代理池，Cookie池，使得爬虫更像是普通用户在操作一样以此来解决目标网站封IP的问题。在网上有大量公开的免费代理，如果经济基础可以的话，我们也可以购买付费的代理IP，用过的人也应该知道，无论是免费的还是付费的，其实都不能保证是可用的，因为可能此IP也会被其他人用来爬取同样的目标站点而封禁，或者代理服务器突然发生故障或网络繁忙。一旦我们选用了一个不可用的代理，这势必会影响爬虫的工作效率。所以我们需要提前做筛选，将不可用的代理剔除掉，从而保留可用的代理。小编今天就给大家带来如何搭建一个高效易用的代理池。

准备工作

首先需要成功安装Redis数据库并启动服务，另外还需要安装aiohttp、request、redis-py、pyquery、Flask库，Redis安装可以参见百度。

代理池的目标

我们需要做到下面的几个目标，来实现易用高效的代理池

基本模块分为4块：存储模块，获取模块，检测模块，接口模块。

存储模块：负责存储抓取下来的代理。首先要保证代理不重复，要标识代理的可用情况，还有动态实时处理每个代理，所以一种比较高效和方便的存储方式就是使用Redis的Sorted

Set，即有序集合。，存储模块同时也是4个模块中的中心模块和基础模块，将其他模块串联起来。

获取模块：需要定时在各大代理网站抓取代理。代理可以是免费公开代理也可以是付费代理，代理的形式都是IP加端口，此模块尽量从不同来源获取，尽量抓取高匿代理，抓取成功之后将可用代理保存到数据库中。

检测模块：需要定时检测数据库中的代理。这里需要设置一个检测链接，最好是爬取那个网站就检测那个网站，这样更加有针对性，如果要做一个通用型的代理，那可以设置百度等链接来检测。另外，我们需要标识每一个代理的状态，如设置分数标识，10分表示可用，分数越少代表越不可用。检测一次，如果代理可用，我们可以将分数标识立即设置为满分10分，或者在原来的基础上加1分；如果代理不可用，可以将分数标识减1分，当分数减到一定阀值后，代理就直接从数据库移除，通过这样的标识分数，我们就可以辨别代理的可用情况，选用的时候会更有针对性。

接口模块：需要用API来提供对外服务的接口。其实我们可以直接连接数据库来取对应的数据，但是这样就需要知道数据库的连接信息，并且要配置连接，而比较安全和方便的方式就是提供一个Web API接口，我们通过访问接口即可拿到可用代理。另外，由于可用代理可能有多个，那么我们可以设置一个随机返回某个可用代理的接口，这样就能保证每个可用代理都可以取到，实现负载均衡。

设计思路已经很明确了，现在我们就用代码来实现代理池。

首先是存储模块，我们需要定义一个类来操作数据库的有序集合，定义一些方法来实现分数的设置、代理的获取等。核心代码如下：

其次是获取模块，获取模块的逻辑相对简单，只需要写一个爬虫来从各大网站抓取代理就可以了。核心代码如下：

方便起见，我们将获取代理的每个方法统一定义为crawl开头，这样扩展的时候只需要添加crawl开头的方法即可。这里实现了几个示例，爬取的大都是网上的免费网站，还有小白购买的付费代理（现在已经不能用了），如果你有自己的付费代理，也只需要添加到里面即可。每个代理方法都定义成了生成器，通过yeild返回一个个代理。程序首先获取网页，然后用解析库进行解析，解析出IP加端口的形式然后返回。

然后定义了一个get_proxies()方法，将所有的以crawl开头的方法调用一遍，获取每个方法返回的代理并组合成列表形式返回。这里我们用元类来实现这个方法。代码如下：

最后定义了一个Getter类，用来动态的调用所有以crawl开头的方法，然后获取抓到的代理，将其加入到数据库存储起来：

我们已经成功的将各个网站的代理获取下来了，现在就需要检测模块来对所有代理进行多轮检测。代理检测可用，分数就设置为10，不可用就丢弃或者减1，这样就可以实时改变每个代理的可用情况。如要获取有效代理只需要获取分数高的代理即可。由于代理的数量非常多。为了提高检测效率，我们在这里使用了异步请求库aiohttp来进行检测。

为了方便的获取代理和使代理池可以作为一个独立服务运行，我们增加了一个接口模块，并以Web API的形式暴露可用代理。

最后通过调度模块调用调用以上模块以多线程方式运行起来。

最后我们运行一下

再打开浏览器配置的API接口 http://127.0.0.1:5555，即可看到其首页。

再访问http://127.0.0.1:5555/random，即可获取随机可用代理。

到此我们的代理池就已经搭建成功了。有了代理池，爬虫就会方便许多。另外小编建议如果搭建自己的代理池，最好是选择付费代理。毕竟稳定性高一些。网上的免费代理在爬取某些网站还是比较吃力。

本节代码：

https://github.com/NGUWQ/Proxypool

对爬虫，数据分析，算法感兴趣的朋友们，可以加微信公众号 TWcoding，我们一起玩转Python。

If it works for you.Please,star.

自助者,天助之