首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

快代理-开放代理使用教程

使用流程

生成API链接,提取IP

开始爬取

这里需要注意:开放代理的IP是从公网采集的,不能保证每个IP都可用。所以我这里用的是vip订单,可以筛选稳定的IP。这样提出来的IP可用质量要高些

代码样例

先把代码贴出来,再一步一步按要求来。大家先copy过去,代码里需要注意以下三项皆为实际在快代理官网获得的参数。

api_url api链接

page_url 默认是快代理验证IP的测试网址,自己也可以改成其他的网址

以下代码为python3所写

"""快代理代理IP使用教程"""

import requests

import random

# 要访问的目标网页

page_url = "//dev.kdlapi.com/testproxy"

# 添加header,模拟用户请求

headers = {

"Accept-Encoding": "Gzip", # 使用gzip压缩传输数据让访问更快

"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.117 Safari/537.36"

}

# API接口,建议返回格式用json

api_url = ""

try:

api_res = requests.get(api_url).json()['data']['proxy_list']

except Exception:

api_res = requests.get(api_url).text.split("\r\n")

proxy = random.choice(api_res)

# 代理IP的格式

proxies = {

"http": "http://%(proxy)s/" % {'proxy': proxy},

"https": "https://%(proxy)s/" % {'proxy': proxy}}

# 添加header,模拟用户请求

headers = {

"Accept-Encoding": "Gzip", # 使用gzip压缩传输数据让访问更快

"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.117 Safari/537.36"

}

# 发送request请求,打印响应code与body内容

r = requests.get(url=page_url, proxies=proxies, headers=headers)

print("response code",r.status_code)

print("response body",r.text)

生成API链接,获取代理IP

打开后台,找到订单,点击生成API链接

打开后,默认http协议,返回格式选json,我的订单是VIP订单,所以稳定性选稳定,返回格式选json,然后点击生成链接,下面的API链接直接复制上。

开始爬取

需要的都找到了,那现在运行下。看看结果,结果如下response code 200。

实际测试的时候,很有可能会遇到用不了的IP,这样的话就换个IP在运行下。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20201104A040RX00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券