专栏首页萌海无涯​Python爬虫学习之代理IP抓取(2)

​Python爬虫学习之代理IP抓取(2)

Python爬虫学习之代理IP抓取

代理数据保存清洗

运行效果:

然后我的IP就给封了

代理测试

代码没问题。。。

不过短短几分钟抓了6000条代理,也算是不错了

需要下载的模块

pip install tinydb
# 主要用到的包

import requests
from lxml import etree
import pprint
import time
from tinydb import TinyDB, Query # 以前发布过使用

更新了下写入文件的初始化操作

class daili():
    def __init__(self):
        ''' 初始化操作'''
        # 起始url
        self.url = "https://www.xicidaili.com/nn"
        # 使用的是手机浏览器
        self.headers = {
            'User-Agent':'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Mobile Safari/537.36'
        }
        # 代理字典
        #self.dl_list = list()
        self.db = TinyDB("db.json")
        self.db2 = TinyDB("db2.json")
        self.Fruit = Query()

更新查找下页代码

# 查找下一页url
next_page = html.xpath('//*[@id="body"]/div[@class="pagination"]/a[@class="next_page"]/@href')

添加代码测试以及写入文件函数

    def dlcs(self, proxies):
        try:
            # 查询是否存在 存在则跳过
            if not self.db2.search(self.Fruit.HTTP == proxies['HTTP']):
                # 测试代理可用性, 超时时间5秒
                requests.get('http://www.baidu.com', headers=self.headers, proxies=proxies, timeout=5)
                print("{} 可用".format(proxies))
                self.db2.insert(proxies)

            else:
                print("{} 已存在".format(proxies))
        except:
            print("{} 不可用".format(proxies))

    def dlqx(self):
        ''' 代理测试'''
        proxies = []  # 代理列表
        print(len(self.db))
        for i in self.db:
            proxies.append({i['type'] : i['type'] + "://" + i['IP'] + ':' + i['port']})
            self.dlcs(proxies[-1])
import requests
from lxml import etree
import pprint
import time
from tinydb import TinyDB, Query

class daili():
    def __init__(self):
        ''' 初始化操作'''
        # 起始url
        self.url = "https://www.xicidaili.com/nn"
        # 使用的是手机浏览器
        self.headers = {
            'User-Agent':'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Mobile Safari/537.36'
        }
        # 爬虫数据存储数据库
        self.db = TinyDB("db.json")
        # 整理后数据库
        self.db2 = TinyDB("db2.json")
        # 数据查询是否相同
        self.Fruit = Query()

    def dl_pool(self, url):
        # 请求url
        txt = requests.get(url, headers=self.headers)
        # 获取url内容用于整理
        html = etree.HTML(txt.text)

        # 第一条是表头 一页100行数据
        for i in range(2, 102):
            item = {}
            # 遍历出一行数据
            ip_text = html.xpath('//*[@id="ip_list"]/tr[{}]/td/text()'.format(i))
            # 添加字典的对应键值对
            item["IP"] = ip_text[0]
            item["port"] = ip_text[1]
            item["anonymity"] = ip_text[4]
            item["type"] = ip_text[5]
            item["survival"] = ip_text[-2]
            item["proof"] = ip_text[-1]
            # 打印每页数据
            pprint.pprint(item)
            # 存进数据库
            self.db.insert(item)
        # 查找下一页url
        next_page = html.xpath('//*[@id="body"]/div[@class="pagination"]/a[@class="next_page"]/@href')
        if next_page:
            # 下一页url拼接
            next_url = next_page[0].split('/')
            next_url = self.url + '/' + next_url[-1]
            print('下页地址',next_url)
            # 暂停 看下效果
            time.sleep(1)
            # 继续下一页
            return self.dl_pool(next_url)
        else:
            return

    def dlcs(self, proxies):
        try:
            # 查询是否存在 存在则跳过
            if not self.db2.search(self.Fruit.HTTP == proxies['HTTP']):
                # 测试代理可用性, 超时时间5秒
                requests.get('http://www.baidu.com', headers=self.headers, proxies=proxies, timeout=5)
                print("{} 可用".format(proxies))
                self.db2.insert(proxies)

            else:
                print("{} 已存在".format(proxies))
        except:
            print("{} 不可用".format(proxies))

    def dlqx(self):
        ''' 代理测试'''
        proxies = []  # 代理列表
        print(len(self.db))
        for i in self.db:
            proxies.append({i['type'] : i['type'] + "://" + i['IP'] + ':' + i['port']})
            self.dlcs(proxies[-1])

    def __call__(self, *args, **kwargs):
        ''' 流程控制 '''
        try:
            self.dl_pool(self.url)
        except AttributeError:
            print("貌似IP被封???")
        # 测试代理
        self.dlce()


def main():
    pp = daili()
    # pp()
    pp.dlqx()


if __name__ == '__main__':
    main()

本文分享自微信公众号 - 萌海无涯(mhwyhtwa),作者:萌海无涯

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-08-05

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Python之pygame学习精灵碰撞做一个躲避球游戏(13)

    获取鼠标返回的坐标,用这个坐标来画圆的时候,设置好不能超出边框,结果圆居然能出去????

    萌海无涯
  • Python之pygame学习定时器操作(11)

    代码就用上篇的精灵的反弹方块,让反弹方块一个一个的出现,超过指定的数量就删除最早的反弹方块。。。

    萌海无涯
  • Python的俄罗斯方块源码

    萌海无涯
  • python算法队列

    3、练习:用上述的代码,完成67,45,34节点顺序放入队列,之后从队列的头部开始访问队列里的每一个元素。

    公众号---志学Python
  • python实现贪吃蛇小游戏

    先前,有了解到用人工智能训练贪吃蛇,没错就是snake,可以达到很高的分数,并且损失函数随训练次数的增加,逐渐降低,贪吃蛇能够更准确的吃到食物,简直太神奇了。

    AngelNH
  • pygame 笔记-10 摩擦力与屏幕环绕

    多年前写过一篇 Flash/Flex学习笔记(25):摩擦力与屏幕环绕,可惜的当时上传的flash,服务器后来无人维护,现在flash链接都失效了。本篇用pyg...

    菩提树下的杨过
  • PyQt 的动作(QAction)

    PyQt使用各种动作(QAction)来为主窗口应用程序用户提供各种功能,这些动作会有文本(用在菜单,含菜单栏菜单和快捷菜单)、图标(用在菜单和工具栏上)、工具...

    用户6021899
  • Python显示进度条,实时显示处理进度

    发现了一个工具,tqdm,大家可以了解一下,使用tqdm就不需要自己来写代码显示进度了 在大多数时候,我们的程序会一直进行循环处理。这时候,我们非常希望能够知...

    py3study
  • trick(十六)、静态方法、类方法、属性方法

    在类中的方法前面通过@staticmethod装饰器即可把其装饰的方法变为一个静态方法

    于小勇
  • PyTorch最佳实践,怎样才能写出一手风格优美的代码

    虽然这是一个非官方的 PyTorch 指南,但本文总结了一年多使用 PyTorch 框架的经验,尤其是用它开发深度学习相关工作的最优解决方案。请注意,我们分享的...

    机器之心

扫码关注云+社区

领取腾讯云代金券