前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >隧道代理阿布云、亿牛云、熊猫代理好用吗?自己要怎么做一个隧道代理?

隧道代理阿布云、亿牛云、熊猫代理好用吗?自己要怎么做一个隧道代理?

原创
作者头像
阿秋数据采集
发布2023-01-10 17:15:59
7610
发布2023-01-10 17:15:59
举报
文章被收录于专栏:HTTP教程HTTP教程

众所周知,隧道代理比动态短效代理贵,但是因为其产品特性,确实也更好用更方便,那我们要如何自己搭建起来隧道代理呢?

说来也不复杂,按照我说的方法,即可搭建起来隧道代理。

1.构建HTTP代理池

首先,你手上得有一批HTTP 代理,要么自己去爬免费的资源(不是那么建议,免费的可用率真的非常低),要么就自己去和HTTP厂商购买动态短效代理,要么就从0开始,自己买服务器……总之,你手上得有一批可以使用起来的HTTP代理,搭建起来你的HTTP代理池子。

接下来就是使用 Redis 的 Hash 这个数据结构周期性访问url,拉取当前最新可用的HTTP代理。

代码如下:

代码语言:javascript
复制
"""
ProxyManager.py
~~~~~~~~~~~~~~~~~~~~~
简易代理池管理工具,直接从URL中读取所有
最新的代理,并写入Redis。
"""
import yaml
import time
import json
import redis
import datetime
import requests
​
​
class ProxyManager:
    def __init__(self):
        self.config = self.read_config()
        self.redis_config = self.config['redis']
        self.client = redis.Redis(host=self.redis_config['host'],
                                  password=self.redis_config['password'],
                                  port=self.redis_config['port'])
        self.instance_dict = {}
​
    def read_config(self):
        with open('config.yaml') as f:
            config = yaml.safe_load(f.read())
            return config
​
    def read_ip(self):
        resp = requests.get(self.config['proxy']).text
        if '{' in resp:
            return []
        proxy_list = resp.split()
        return proxy_list
​
    def delete_ip(self, live_ips, pool_ips):
        ip_to_removed = set(pool_ips) - set(live_ips)
        if ip_to_removed:
            print('ip to be removed:', ip_to_removed)
            self.client.hdel(self.redis_config['key'], *list(ip_to_removed))
​
    def add_new_ips(self, live_ips, pool_ips):
        ip_to_add = set(live_ips) - set(pool_ips)
        if ip_to_add:
            print('ip to add:', ip_to_add)
            ips = {}
            for ip in ip_to_add:
                ips[ip] = json.dumps({'private_ip': ip,
                                      'ts': datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')})
            self.client.hset(self.redis_config['key'], mapping=ips)
​
    def run(self):
        while True:
            live_ips = self.read_ip()
            pool_ips = [x.decode() for x in self.client.hgetall(self.redis_config['key'])]
            self.delete_ip(live_ips, pool_ips)
            self.add_new_ips(live_ips, pool_ips)
            time.sleep(40)
​
​
if __name__ == '__main__':
    manager = ProxyManager()
    manager.run()

通常,HTTP代理从厂商那购买,是有个存活周期的,我们要在HTTP代理的存货周期内使用,所以更换的周期也要在这时间段内。更换的时候,采用了增量更换的方式。把当前拉取的 IP 和 Redis 里面的已有 IP 进行对比。不在这次拉取的 IP 全部从 Redis 移除,然后把新增的 IP 加到 Redis 中。

当然,我们需要确保从 URL 拉下来的代理也进行有效性检查,发现无效的立刻移除,可以进行少量测试:

代码语言:javascript
复制
# python 3.6+
import requests
url = "http://www.baidu.com/"
ip, port = "39.137.95.73", "8080"
proxies = {"http": f"http://{ip}:{port}"}
#空白位置为测试HTTP代理和HTTP代理使用端口
headers = {"User-Agent": "Mozilla/5.0"}
#响应头
res = requests.get(url, proxies=proxies, headers=headers)
#发起请求
print(res.status_code) #返回响应码
​
​

只需要更改这里的ip就可以自动判断是否可用。

如果这里的状态码为200就表示这个ip可用,如果是502等其他的状态码就表示这个ip不可用。

2.实现自动转发

我们可以使用 OpenResty实现自动转发。

对应的配置文件如下图所示:

代码语言:javascript
复制
worker_processes  16;        
#nginx worker 数量
error_log /usr/local/openresty/nginx/logs/error.log;   #指定错误日志文件路径
events {
    worker_connections 1024;
}
​
​
stream {
    ## TCP 代理日志格式定义
    log_format tcp_proxy '$remote_addr [$time_local] '
                         '$protocol $status $bytes_sent $bytes_received '
                         '$session_time "$upstream_addr" '
                         '"$upstream_bytes_sent" "$upstream_bytes_received" "$upstream_connect_time"';
    ## TCP 代理日志配置
    access_log /usr/local/openresty/nginx/logs/access.log tcp_proxy;
    open_log_file_cache off;
​
    ## TCP 代理配置
    upstream backend{
        server 127.0.0.2:1101;# 爱写啥写啥  反正下面的代码也给你改了
        balancer_by_lua_block {
            -- 初始化balancer
            local balancer = require "ngx.balancer"
            local host = ""
            local port = 0
            host = ngx.ctx.proxy_host
            port = ngx.ctx.proxy_port
            -- 设置 balancer
            local ok, err = balancer.set_current_peer(host, port)
            if not ok then
                ngx.log(ngx.ERR, "failed to set the peer: ", err)
            end
        }
    }
​
​
    server {
        preread_by_lua_block{
​
            local redis = require("resty.redis")
            --创建实例
            local redis_instance = redis:new()
            --设置超时(毫秒)
            redis_instance:set_timeout(3000)
            --建立连接,请在这里配置Redis 的 IP 地址、端口号、密码和用到的 Key
            local rhost = "123.45.67.89"
            local rport = 6739
            local rpass = "abcdefg"
            local rkey = "proxy:pool"
            local ok, err = redis_instance:connect(rhost, rport)
            ngx.log(ngx.ERR, "1111111 ", ok, " ", err)
​
            -- 如果没有密码,移除下面这一行
            local res, err = redis_instance:auth(rpass)
            local res, err = redis_instance:hkeys(rkey)
            if not res then
                ngx.log(ngx.ERR,"res num error : ", err)
                return redis_instance:close()
            end
            math.randomseed(tostring(ngx.now()):reverse():sub(1, 6))
            local proxy = res[math.random(#res)]
            local colon_index = string.find(proxy, ":")
            local proxy_ip = string.sub(proxy, 1, colon_index - 1)
            local proxy_port = string.sub(proxy, colon_index + 1)
            ngx.log(ngx.ERR,"redis data = ", proxy_ip, ":", proxy_port);
            ngx.ctx.proxy_host = proxy_ip
            ngx.ctx.proxy_port = proxy_port
            redis_instance:close()
        }
        #  下面是本机的端口,也就是爬虫固定写死的端口
       listen 0.0.0.0:9976; #监听本机地址和端口,当使用keeplived的情况下使用keeplived VIP
       proxy_connect_timeout 3s;
       proxy_timeout 10s;
       proxy_pass backend; #这里填写对端的地址
    }
}

有需要的友友们可以根据配置文件稍作修改。

3.启动

设置好了这些配置以后,使用 Docker 来启动它:

代码语言:javascript
复制
from openresty/openresty:centos
​
copy nginx_redis.conf /usr/local/openresty/nginx/conf/nginx.conf

然后,执行命令构建和运行:

代码语言:javascript
复制
docker build --network host -t tunnel_proxy:0.01 .
docker run --name tunnel_proxy --network host -it tunnel_proxy:0.01

运行以后,你会看到 Docker 的命令行似乎卡住了。这是正常请求。因为需要你有了请求,它才会输出内容。

现在,你可以用 Requests 赶快写一段代码来进行验证:

代码语言:javascript
复制
import requests
import time
​
proxies = {'http': 'http://13.88.220.207:9976'}
for _ in range(10):
    resp = requests.get('http://httpbin.org/ip', proxies=proxies).text
    print(resp)
    time.sleep(1)

运行效果如下图所示。

img
img

配置nginx.config如果出现问题,要根据具体报错信息来解决。

自己搭建隧道代理,实际工作生活中只能拿来练手,毕竟如果是在公司上班,这个要花费很多时间成本去做开发和维护,过程中如果有遇到问题,也需要及时维护,同时也无法保证自己搭建的隧道代理的稳定性,毕竟要考虑的因素实在太多了,是用什么基础搭建的?免费的HTTP代理的可用率、代理服务器的稳定性……

4.隧道代理厂商

当然,市面上的隧道代理厂商也没有多到让人无法挑的地步,主要还是这么几家:

  • 快代理
  • 青果网络
  • 阿布云
  • 熊猫代理
  • 小象代理
  • 亿牛云

这几家产品比较快代理上个月在做周年庆,有打折,不过活动好像马上要结束了。不过不在我的选择范围内,所以也不急就是了。类似阿布云这种比较老派的隧道代理厂商,用着也还行,但是对于整个经济下行的环境,我们现在没有在考虑范围内了,毕竟这一行业的产品只要测试下来效果不错,厂商有正规的那些证,价格又合适那真是神仙厂商了。

PS:像青果网络这种,定时更换周期的,通道数居然是10,和其他家有明显的区别,蛮神奇的。

HTTP代理类型

分类

代表厂商

通道数

并发请求

月费

隧道代理

定时换IP周期(1分钟)

快代理

1

5

272

青果网络

10

5

390

小象代理

1

5

399

熊猫代理

1

5

420

阿布云

1

5

429

亿牛云

1

5

399

动态转发

快代理

1

5

388

青果网络

1

5

360

小象代理

1

5

399

熊猫代理

1

5

420

阿布云

1

5

429

亿牛云

1

5

399

我之前有使用过,总体来说效果还可以:

img
img

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 1.构建HTTP代理池
  • 2.实现自动转发
  • 3.启动
  • 4.隧道代理厂商
相关产品与服务
云数据库 Redis
腾讯云数据库 Redis(TencentDB for Redis)是腾讯云打造的兼容 Redis 协议的缓存和存储服务。丰富的数据结构能帮助您完成不同类型的业务场景开发。支持主从热备,提供自动容灾切换、数据备份、故障迁移、实例监控、在线扩容、数据回档等全套的数据库服务。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档