前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >python代理IP池爬取

python代理IP池爬取

作者头像
SingYi
发布2022-07-14 16:49:55
6030
发布2022-07-14 16:49:55
举报
文章被收录于专栏:Lan小站Lan小站
代码语言:javascript
复制
import parsel
import requests

url = ''
headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36',
}
html = requests.get(url=url, headers=headers).text
html = parsel.Selector(html)
Ip = html.xpath('//td[@data-title="IP"]/text()').extract()
Port = html.xpath('//td[@data-title="PORT"]/text()').extract()
LeiXing = html.xpath('//td[@data-title="类型"]/text()').extract()
result = []
for i in range(len(Ip)):
    a = (LeiXing[i] + '://' + Ip[i] + ':' + Port[i])
    pro = {LeiXing[i]: a}
    result.append(pro)

for i in result:
    try:
        ssss = requests.get(url='http://www.baidu.com', headers=headers, proxies=i, timeout=1).status_code
        if ssss == 200:
            print(i)
    except:
        print('不合格')
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档