Scrapy爬取美女图片第三集 代理ip(上)

首先说一声,让大家久等了。本来打算520那天进行更新的,可是一细想,也只有我这样的单身狗还在做科研,大家可能没心思看更新的文章,所以就拖到了今天。不过忙了521,522这一天半,我把数据库也添加进来了,修复了一些bug(现在肯定有人会说果然是单身狗)。

好了,废话不多说,咱们进入今天的主题。上两篇 Scrapy爬取美女图片 的文章,咱们讲解了scrapy的用法。可是就在最近,有热心的朋友对我说之前的程序无法爬取到图片,我猜应该是煎蛋网加入了反爬虫机制。所以今天讲解的就是突破反爬虫机制的上篇 代理ip。

现在很多的网站对反爬虫的一个做法(当然还有其他检测)是:检测一个ip的重复性操作,从而判断是爬虫还是人工。所以使用代理ip就可以突破这个封锁。作为一个学生党,没钱专门去买vpn和ip池,所以咱们使用的代理ip来自于网络上免费的,基本上够个人使用了。接下来咱们讲的是爬取免费ip,并且验证代理ip的可用性。

网上有很多代理ip的网站,这次我选择的是http://www.xicidaili.com/nn/,大家学完可以试试其他的网站,咱们努力做个大的代理ip池。

大家是否注意到高匿两个字,高匿的意思是:对方服务器不知道你使用了代理,更不知道你的真实IP,因此隐蔽性很高。

当真。

按照咱们之前的学习爬虫的做法,使用firebug审查元素,查看如何解析html。

其实就是一个table,解析里面的每一行,这个很简单,咱们使用

BeautifulSoup很容易就解析出来了。

同时大家还应该注意到,它每一页上的ip表的页数和url中的参数是对应的。例如第一页就是http://www.xicidaili.com/nn/1。这样就省去了咱们翻页的麻烦。

以下是程序的结构:

db包中db_helper:实现的是mongodb的增删改查。

detect包中 detect_proxy:验证代理ip的可用性

entity包中 proxy_info:对代理信息进行了对象化

spider包:

spiderman 实现爬虫的逻辑

html_downloader 实现爬虫的html下载器

html_parser 实现爬虫的html解析器

test包: 对样例的测试,不涉及程序运行

main.py:实现命令行参数定义

还要说一下检测:我是用 http://ip.chinaz.com/getip.aspx作为检测网址,只要使用代理访问不超时,而且响应码为200,咱们就认为是成功的代理。

接下来运行程序看看效果:

在windows下切换到工程目录,运行python main.py -h,会看到我定义的使用说明和参数设置。

接着运行python main.py -c 1 4 (意思是爬取1-4页的ip地址):

这时候如果想验证ip的正确性:运行python main.py -t db

看来好用的ip还是比较少,不过对于个人算是够用了。

看一下mongodb数据库:

当咱们下次爬取图片的时候就可以使用这些ip了。

下面把解析和验证的代码贴一下:

解析核心代码:

def parser(self,html_cont):

    '''
    :param html_cont:
    :return:
    '''
    if html_cont is None:
        return

    # 使用BeautifulSoup模块对html进行解析
    soup = BeautifulSoup(html_cont,'html.parser',from_encoding='utf-8')
    tr_nodes = soup.find_all('tr',class_ = True)

    for tr_node in tr_nodes:
        proxy = proxy_infor()
        i = 0
        for th in tr_node.children:
            if th.string != None and len(th.string.strip()) > 0:
                proxy.proxy[proxy.proxyName[i]] = th.string.strip()
                print  'proxy',th.string.strip()
                i += 1
                if(i>1):
                    break
        self.db_helper.insert({proxy.proxyName[0]:proxy.proxy[proxy.proxyName[0]],proxy.proxyName[1]:proxy.proxy[proxy.proxyName[1]]},proxy.proxy)

验证部分核心代码:

def detect(self):
    '''
    http://ip.chinaz.com/getip.aspx  作为检测目标
    :return:
    '''
    proxys = self.db_helper.proxys.find()
    badNum = 0
    goodNum = 0
    for proxy in proxys:
        ip = proxy['ip']
        port = proxy['port']
        try:
            proxy_host ="http://"+ip+':'+port #
            response = urllib.urlopen(self.url,proxies={"http":proxy_host})
            if response.getcode()!=200:
                self.db_helper.delete({'ip':ip,'port':port})
                badNum += 1
                print proxy_host,'bad proxy'
            else:
                goodNum += 1
                print proxy_host,'success proxy'

        except Exception,e:
            print proxy_host,'bad proxy'
            self.db_helper.delete({'ip':ip,'port':port})
            badNum += 1
            continue

    print 'success proxy num : ',goodNum
    print 'bad proxy num : ',badNum

原文发布于微信公众号 - 七夜安全博客(qiye_safe)

原文发表时间:2016-05-22

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Java与Android技术栈

对Xposed的认识和思考

能够修改微信运动的步数,我修改了微信小号走路的步数,其实只是 hook 了传感器的 api 而已。

662
来自专栏葡萄城控件技术团队

Wijmo 更优美的jQuery UI部件集:通过jsFiddle测试Wijmo Gauges

Wijmo 的巨大优势之一就是,它们是非常流行的jQuery UI部件。这将意味着它们的基础类库具有很多支持者。具有众多的支持者同时也意味着更多好用的工具。这些...

1998
来自专栏逸鹏说道

【完全开源】博客园客户端UWP版 带源码、带APP

目录 说明 功能 PC截图 手机截图 关于源代码和体验 Win 10开发资料 说明 上次发了一篇博客,大概展示了不需要登录就可以操作的一些功能。后来一个星期,我...

4254
来自专栏猿湿Xoong

5 个 Android 工具 Apk,有效提升开发效率

1364
来自专栏猫哥学前班

猫哥网络编程系列:HTTP PEM 万能调试法

注:本文内容较长且细节较多,建议先收藏再阅读,原文将在 Github 上维护与更新。 在 HTTP 接口开发与调试过程中,我们经常遇到以下类似的问题: 为什么...

3326
来自专栏pangguoming

最火的Android开源项目整理

一、代码库 1、from  代码家 整理比较好的源码连接 ***************************************************...

4174
来自专栏带你撸出一手好代码

神奇的Java

使用java开发一个socket服务器,使用protocol buffer作为和客户端通信的数据格式。然后,问题就来了,这个socket服务器要如何调试?换句话...

542
来自专栏企鹅号快讯

雅虎前端优化的35条军规

问题:我怎么才能收到你们公众号平台的推送文章呢? 内容部分 1.尽量减少HTTP请求数 80%的终端用户响应时间都花在了前端上,其中大部分时间都在下载页面上的各...

2635
来自专栏PHP技术

现代Web开发需要学习的15大技术

将近4年前,我写了一篇名为《Future of Web and Mobile: HTML5, CSS3 and Javascript》的博客文章,其中我提到了...

5139
来自专栏软件开发

CSS3与页面布局学习总结(八)——浏览器兼容与前端性能优化

一、浏览器兼容 1.1、概要 世界上没有任何一个浏览器是一样的,同样的代码在不一样的浏览器上运行就存在兼容性问题。不同浏览器其内核亦不尽相同,相同内核的版本不同...

1989

扫码关注云+社区