scrapy之ip池

反爬策略有很多,最常用的也就是ip池,下面让我们一起跟着小省开始ip池之旅吧

直接上代码: 由于我们的ip池是自己维护在数据库中的,所以会有查库这一说

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# Create by shengjk1 on  2017/11/6
from screptile import pool
from utilspider.dp_util import close
from twisted.web._newclient import ResponseNeverReceived
from twisted.internet.error import TimeoutError, ConnectionRefusedError, ConnectError
from utilspider.util_spider import get_logger
from screptile import db_table

logger = get_logger('flower')
class HttpProxyMiddleware(object):
    DONT_RETRY_ERRORS = (TimeoutError, ConnectionRefusedError, ResponseNeverReceived, ConnectError, ValueError)

    def process_request(self, request, spider):
        ip = self.get_ip()
        request.meta['proxy'] = ip
        logger.info( 'process_request  %s ' % ip)


    def process_response(self, request,response, spider):
        if response.status!=200:
            ip = self.get_ip()
            request.meta['proxy'] = ip
            logger.info('process_response  %s ' % ip)
            return request
        else:
            return response

    def process_exception(self, request, exception, spider):
        if isinstance(exception, self.DONT_RETRY_ERRORS):
            ip = self.get_ip()
            request.meta['proxy'] = ip
            logger.info( 'process_exception  %s ' % ip)
            return request


    def get_ip(self):
        conn = pool.connection()
        cur = conn.cursor()
        sql = 'SELECT * FROM '+db_table+' where sign=1 ORDER BY RAND() LIMIT 1'
        cur.execute(sql)
        result = cur.fetchall()
        ip = result[0][1]
        close(cur,conn)
        return ip

setting.py

DOWNLOADER_MIDDLEWARES = {
'screptile.proxip_middleware.HttpProxyMiddleware':543
}

setting.py中可以设置超时时间

DOWNLOAD_TIMEOUT=10

备注: process_request(request, spider) 当每个request通过下载中间件时,该方法被调用。 process_request() 必须返回其中之一: 返回 None 、返回一个 Response 对象、返回一个 Request 对象或raise IgnoreRequest 。 如果其返回 None ,Scrapy将继续处理该request,执行其他的中间件的相应方法,直到合适的下载器处理函数(download handler)被调用, 该request被执行(其response被下载)。 如果其返回 Response 对象,Scrapy将不会调用 任何 其他的 process_request() 或 process_exception() 方法,或相应地下载函数; 其将返回该response。 已安装的中间件的 process_response() 方法则会在每个response返回时被调用。 如果其返回 Request 对象,Scrapy则停止调用 process_request方法并重新调度返回的request。当新返回的request被执行后, 相应地中间件链将会根据下载的response被调用。 如果其raise一个 IgnoreRequest 异常,则安装的下载中间件的 process_exception() 方法会被调用。如果没有任何一个方法处理该异常, 则request的errback(Request.errback)方法会被调用。如果没有代码处理抛出的异常, 则该异常被忽略且不记录(不同于其他异常那样)。 参数: request (Request 对象) – 处理的request spider (Spider 对象) – 该request对应的spider

process_response(request, response, spider) process_request() 必须返回以下之一: 返回一个 Response 对象、 返回一个 Request 对象或raise一个 IgnoreRequest 异常。 如果其返回一个 Response (可以与传入的response相同,也可以是全新的对象), 该response会被在链中的其他中间件的 process_response() 方法处理。 如果其返回一个 Request 对象,则中间件链停止, 返回的request会被重新调度下载。处理类似于 process_request() 返回request所做的那样。 如果其抛出一个 IgnoreRequest 异常,则调用request的errback(Request.errback)。 如果没有代码处理抛出的异常,则该异常被忽略且不记录(不同于其他异常那样)。 参数: request (Request 对象) – response所对应的request response (Response 对象) – 被处理的response spider (Spider 对象) – response所对应的spider

process_exception(request, exception, spider) 当下载处理器(download handler)或 process_request() (下载中间件)抛出异常(包括 IgnoreRequest 异常)时, Scrapy调用 process_exception() 。 process_exception() 应该返回以下之一: 返回 None 、 一个 Response 对象、或者一个 Request 对象。 如果其返回 None ,Scrapy将会继续处理该异常,接着调用已安装的其他中间件的 process_exception() 方法,直到所有中间件都被调用完毕,则调用默认的异常处理。 如果其返回一个 Response 对象,则已安装的中间件链的 process_response() 方法被调用。Scrapy将不会调用任何其他中间件的 process_exception() 方法。 如果其返回一个 Request 对象, 则返回的request将会被重新调用下载。这将停止中间件的 process_exception() 方法执行,就如返回一个response的那样。 参数: request (是 Request 对象) – 产生异常的request exception (Exception 对象) – 抛出的异常 spider (Spider 对象) – request对应的spider

参考:

官网https://doc.scrapy.org/en/latest/topics/downloader-middleware.html 中文版: http://scrapy-chs.readthedocs.io/zh_CN/1.0/topics/downloader-middleware.html

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 用栈来实现简易版中缀表达式的计算器

    5.栈的使用场景: 1.递归 2.方法调用 3.表达式的转化和求值 4.二叉树遍历 5.图的深度优先遍历 6.逆序输出 如 单链表的反转

    shengjk1
  • java 如何优雅的停止一个线程

    写过多线程的童鞋,可能都会遇到一个问题,那就是线程如何优雅的停止。这里主要介绍两个办法:标志位 和 thread.isInterrupted。

    shengjk1
  • 自定义maven项目结构-maven archtype

    背景 经常使用同一套类似的工程结构,就想着能不能自动构建,不用每次都进行工程结构的拷贝,另外呢也是想建立一套项目工程结构的规范,运用技术代替人工

    shengjk1
  • [系列] - go-gin-api 路由中间件 - 日志记录(三)

    上篇文章分享了,规划项目目录和参数验证,其中参数验证使用的是 validator.v8 版本,现已更新到 validator.v9 版本,最新代码查看 gith...

    新亮
  • 11.Django基础九之中间件

      我们在前面的课程中已经学会了给视图函数加装饰器来判断是用户是否登录,把没有登录的用户请求跳转到登录页面。我们通过给几个特定视图函数加装饰器实现了这个需求。但...

    changxin7
  • Django之中间件

    中间件简介 什么是中间件 中间件是一个用来处理Django的请求和响应的框架级别的钩子。它是一个轻量、低级别的插件系统,用于在全局范围内改变Django的输入和...

    人生不如戏
  • form表单提交与ajax消息传递

    后台: def index(request): if request.method == 'POST': print(request.POST) # 普通...

    小小咸鱼YwY
  • python爬虫人门(10)Scrapy框架之Downloader Middlewares

    设置下载中间件(Downloader Middlewares)  下载中间件是处于引擎(crawler.engine)和下载器(crawler.engine.d...

    zhang_derek
  • MYSQL中约束及修改数据表

    MYSQL中约束及修改数据表 28:约束 约束保证数据的完整性和一致性 约束分为表级约束和列级约束 约束类型包括:     NOT NULL(非空约束)   ...

    别先生
  • servlet解决浏览器的跨域

    在做一些web请求时,会涉及到很麻烦的浏览器跨域问题,因此,一般都会通过后台处理再给前台。本文讲述通过servlet解决浏览器的跨域问题。

    lzugis

扫码关注云+社区

领取腾讯云代金券

玩转腾讯云 有奖征文活动