urllib代理服务器设置

#1.首先建立一个名为use_proxy的自定义函数，该函数的主要实现使用代理服务器来爬取url的功能
#2.该函数有两个参数，一个为代理地址，另一个为url地址
#3.使用urllib.request.ProxyHandler()来设置对用的代理服务器信息
#4. 使用urllib.request.install_opener()创建全局opener对象
import urllib.request

def use_proxy(proxy_addr,url):
    proxy = urllib.request.ProxyHandler({'http':proxy_addr})
    opener = urllib.request.build_opener(proxy,urllib.request.HTTPHandler)
    urllib.request.install_opener(opener)
    data = urllib.request.urlopen(url).read().decode('utf-8')
    return data

proxy_addr = '60.178.1.122:8081'
data = use_proxy(proxy_addr,'http://www.baidu.com')
print(len(data))