浅析GO语言如何测试代理IP

GO语言如何检测代理IP?有的时候我们找到的代理IP并非都是可用的，用过免费代理的就知道这个道理，而有些服务差的代理服务商，他们的IP质量也堪忧。

我们使用爬虫的时候需要大量代理，但是并不是所有的代理都是有效的。所以在使用代理前，我们应该先检测下代理是否可用。

我们可以使用http.Transport设置代理来访问某个测试地址，如果返回的状态码为200，说明这个代理是可用的。

为了提升代理检测效率，测试地址尽量使用数据量比较小的站点：

例如：icanhazip.com和httpbin.org/get

package main

import(

"fmt"

"log"

"net/http"

"net/url"

"strings"

"time"

)

func ProxyTest(proxy_addr string)(Speed int,Status int){

//检测代理iP访问地址

var testUrl string

//判断传来的代理IP是否是https

if strings.Contains(proxy_addr,"https"){

testUrl="https://icanhazip.com"

}else{

testUrl="http://icanhazip.com"

}

//解析代理地址

proxy,err:=url.Parse(proxy_addr)

//设置网络传输

netTransport:=&http.Transport{

Proxy:http.ProxyURL(proxy),

MaxIdleConnsPerHost:10,

ResponseHeaderTimeout:time.Second*time.Duration(5),

}

//创建连接客户端

httpClient:=&http.Client{

Timeout:time.Second*10,

Transport:netTransport,

}

begin:=time.Now()//判断代理访问时间

//使用代理IP访问测试地址

res,err:=httpClient.Get(testUrl)

if err!=nil{

log.Println(err)

return

}

defer res.Body.Close()

speed:=int(time.Now().Sub(begin).Nanoseconds()/1000/1000)//ms

//判断是否成功访问，如果成功访问StatusCode应该为200

if res.StatusCode!=http.StatusOK{

log.Println(err)

return

}

return speed,res.StatusCode

}

func main(){

var speed,status=ProxyTest("http://124.205.155.151:9090")

if status==200{

fmt.Println(speed,status)

}else{

fmt.Println("代理不可用")

}

}

如果大家需要稳定能够使用的代理IP，那么，站大爷IP是大家最为合适的选择之一，自建IP池，海量IP地址等你来。

举报/反馈