Scrapy之设置随机IP代理（IPProxy）

菲宇

发布于 2019-06-13 11:39:07

7.2K0

发布于 2019-06-13 11:39:07

文章被收录于专栏：菲宇菲宇

当我们需要大量的爬取网站信息时，除了切换User-Agent之外，另外一个重要的方式就是设置IP代理，以防止我们的爬虫被拒绝，下面我们就来演示scrapy如何设置随机IPProxy。

设置随机IPProxy

同样的你想要设置IPProxy ，首先需要找到可用的IPProxy ，通常情况下，一些代理网站会提供一些免费的ip代理，但是其稳定性和可用性很难得到保证，但是初学阶段，只能硬着头皮去找了，当然后期我们可以有其他的方法来寻找可用的IP代理，拿到可用的IPProxy 以后，将其添加到settings.py文件中，像下面这样，当然了，当你看到这篇文章的时候，他们肯定是已经失效了，你需要自己去找了。

PROXIES = ['http://183.207.95.27:80', 'http://111.6.100.99:80', 'http://122.72.99.103:80', 
           'http://106.46.132.2:80', 'http://112.16.4.99:81', 'http://123.58.166.113:9000', 
           'http://118.178.124.33:3128', 'http://116.62.11.138:3128', 'http://121.42.176.133:3128', 
           'http://111.13.2.131:80', 'http://111.13.7.117:80', 'http://121.248.112.20:3128', 
           'http://112.5.56.108:3128', 'http://42.51.26.79:3128', 'http://183.232.65.201:3128', 
           'http://118.190.14.150:3128', 'http://123.57.221.41:3128', 'http://183.232.65.203:3128', 
           'http://166.111.77.32:3128', 'http://42.202.130.246:3128', 'http://122.228.25.97:8101', 
           'http://61.136.163.245:3128', 'http://121.40.23.227:3128', 'http://123.96.6.216:808', 
           'http://59.61.72.202:8080', 'http://114.141.166.242:80', 'http://61.136.163.246:3128', 
           'http://60.31.239.166:3128', 'http://114.55.31.115:3128', 'http://202.85.213.220:3128']

而后，在middlewares.py文件中，添加下面的代码。

import scrapy
from scrapy import signals
import random



class ProxyMiddleware(object):
    '''
    设置Proxy
    '''

    def __init__(self, ip):
        self.ip = ip

    @classmethod
    def from_crawler(cls, crawler):
        return cls(ip=crawler.settings.get('PROXIES'))

    def process_request(self, request, spider):
        ip = random.choice(self.ip)
        request.meta['proxy'] = ip

其基本的逻辑和上一篇设置User-Agent非常类似，因此这个地方不多赘述。最后将我们自定义的类添加到下载器中间件设置中，如下。

DOWNLOADER_MIDDLEWARES = {
    'myproject.middlewares.ProxyMiddleware': 543,
}

测试我们的代理

为了检测我们的代理是否设置成功，下面就以一个例子来进行测试。

我们在spider.py文件中写入下面的代码

import scrapy


class Spider(scrapy.Spider):
    name = 'ip'
    allowed_domains = []

    def start_requests(self):

        url = 'http://ip.chinaz.com/getip.aspx'

        for i in range(4):
            yield scrapy.Request(url=url, callback=self.parse, dont_filter=True)

    def parse(self,response):
        print(response.text)

上面的代码中，url = 'http://ip.chinaz.com/getip.aspx'这个网站可以显示我们的ip地址，我们用它来测试，请注意，在Request（）中，我们必须添加dont_filter=True因为我们多次请求的是同一个网址，scrapy默认会把重复的网址过滤掉。运行这个项目，我们可以看到如下的输出。

设置IP池或用户代理（1）设置IP池步骤1：在settings.py文件中添加代理服务器的IP信息，如：

1 # 设置IP池
2 IPPOOL = [
3 　　{"ipaddr": "221.230.72.165:80"},
4 　　{"ipaddr": "175.154.50.162:8118"},
5 　　{"ipaddr": "111.155.116.212:8123"}
6 ]

步骤2：创建下载中间文件middlewares.py（与settings.py同一个目录），如：

#创建方法，cmd命令行，如项目为modetest，

E:\workspace\PyCharm\codeSpace\modetest\modetest>echo #middlewares.py

 1 # -*- coding: utf-8 -*-
 2 # 导入随机模块
 3 import random
 4 # 导入settings文件中的IPPOOL
 5 from .settings import IPPOOL
 6 # 导入官方文档对应的HttpProxyMiddleware
 7 from scrapy.contrib.downloadermiddleware.httpproxy import HttpProxyMiddleware
 8 
 9 class IPPOOlS(HttpProxyMiddleware):
10 　　# 初始化
11 　　def __init__(self, ip=''):
12 　　self.ip = ip
13 
14 　　# 请求处理
15 　　def process_request(self, request, spider):
16 　　# 先随机选择一个IP
17 　　thisip = random.choice(IPPOOL)
18 　　print("当前使用IP是："+ thisip["ipaddr"])
19 　　request.meta["proxy"] = "http://"+thisip["ipaddr"]

步骤3：在settings.py中配置下载中间件

1 # 配置下载中间件的连接信息
2 DOWNLOADER_MIDDLEWARES = {
3 　　'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware':123,
4 　　'modetest.middlewares.IPPOOlS' : 125    
5 }

（2）设置用户代理步骤1：在settings.py文件中添加用户代理池的信息（配置几个浏览器'User-Agent'），如：

1 # 设置用户代理池
2 UPPOOL = [
3 　　"Mozilla/5.0 (Windows NT 10.0; WOW64; rv:52.0) Gecko/20100101 Firefox/52.0", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.79 Safari/537.36 Edge/14.14393"
4 ]

步骤2：创建下载中间文件uamid.py（与settings.py同一个目录），如：

#创建方法，cmd命令行，如项目为modetest，

E:\workspace\PyCharm\codeSpace\modetest\modetest>echo #uamind.py

 1 # -*- coding: utf-8 -*-#
 2 # 导入随机模块
 3 import random
 4 # 导入settings文件中的UPPOOL
 5 from .settings import UPPOOL
 6 # 导入官方文档对应的HttpProxyMiddleware
 7 from scrapy.contrib.downloadermiddleware.useragent import UserAgentMiddleware
 8 
 9 class Uamid(UserAgentMiddleware):
10 　　# 初始化 注意一定要user_agent，不然容易报错   
11 　　def __init__(self, user_agent=''):
12 　　self.user_agent = user_agent
13 
14 　　# 请求处理
15 　　def process_request(self, request, spider):
16 　　　　# 先随机选择一个用户代理
17 　　　　thisua = random.choice(UPPOOL)
18 　　　　print("当前使用User-Agent是："+thisua)
19 　　　　request.headers.setdefault('User-Agent',thisua)

步骤3：在settings.py中配置下载中间件

1 # 配置下载中间件的连接信息
2 DOWNLOADER_MIDDLEWARES = {
3 　　'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware': 2,
4　　 'modetest.uamid.Uamid': 1    
5 }

总而言之，有时候避免不了配置这类信息，所以直接在settings中都一起配置了如下，直接粘贴到settings.py文件的最后面

 1 #========================================
 2 
 3 # 设置IP池和用户代理
 4 
 5 #  禁止本地Cookie
 6 COOKIES_ENABLED = False
 7 
 8 # 设置IP池
 9 IPPOOL = [
10     {"ipaddr": "221.230.72.165:80"},
11     {"ipaddr": "175.154.50.162:8118"},
12     {"ipaddr": "111.155.116.212:8123"}
13 ]
14 
15 # 设置用户代理池
16 UPPOOL = [
17     "Mozilla/5.0 (Windows NT 10.0; WOW64; rv:52.0) Gecko/20100101 Firefox/52.0", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.79 Safari/537.36 Edge/14.14393"
18 ]
19 
20 # 配置下载中间件的连接信息
21 DOWNLOADER_MIDDLEWARES = {
22     #'scrapy.contrib.downloadermiddlewares.httpproxy.HttpProxyMiddleware':123,
23     #'modetest.middlewares.IPPOOlS' : 125,
24     'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware': 2,
25     'modetest.uamid.Uamid': 1
26 }
27 
28 #============================================

本文参与腾讯云自媒体分享计划，分享自作者个人站点/博客。

原始发表：2019年05月06日，如有侵权请联系 cloudcommunity@tencent.com 删除

python