前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >国内高匿免费代理 爬虫代码

国内高匿免费代理 爬虫代码

作者头像
SingYi
发布2022-07-13 20:26:12
1.9K0
发布2022-07-13 20:26:12
举报
文章被收录于专栏:Lan小站Lan小站

只爬了ip

结果
结果
代码语言:javascript
复制
import requests
import parsel
import base64
import re

res = requests.get('http://ip.yqie.com/proxygaoni/index.htm')
res.encoding = 'utf-8'
for i in parsel.Selector(res.text).xpath("//tr/td[2]").extract():
    print(base64.b64decode(re.findall(f'window\.atob\("(.*?)"\)', i)[0]).decode())

新增一个lxml的xpath版本

代码语言:javascript
复制
import base64
import re

import requests
from lxml import etree

res = requests.get('http://ip.yqie.com/proxygaoni/index.htm')
res.encoding = 'utf-8'
for i in etree.HTML(res.text).xpath('//tr/td[2]/script'):
    print(base64.b64decode(re.findall(f'window\.atob\("(.*?)"\)', i.text)[0]).decode())
本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档