前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >urllib代理服务器设置

urllib代理服务器设置

作者头像
听城
发布2018-04-27 16:56:36
2.3K0
发布2018-04-27 16:56:36
举报
文章被收录于专栏:杂七杂八

ip代理的一个网站,如果代理信息有误或者代理无法使用则会发生被远程主机拒绝访问等错误

代码语言:javascript
复制
#1.首先建立一个名为use_proxy的自定义函数,该函数的主要实现使用代理服务器来爬取url的功能
#2.该函数有两个参数,一个为代理地址,另一个为url地址
#3.使用urllib.request.ProxyHandler()来设置对用的代理服务器信息
#4. 使用urllib.request.install_opener()创建全局opener对象
import urllib.request

def use_proxy(proxy_addr,url):
    proxy = urllib.request.ProxyHandler({'http':proxy_addr})
    opener = urllib.request.build_opener(proxy,urllib.request.HTTPHandler)
    urllib.request.install_opener(opener)
    data = urllib.request.urlopen(url).read().decode('utf-8')
    return data

proxy_addr = '60.178.1.122:8081'
data = use_proxy(proxy_addr,'http://www.baidu.com')
print(len(data))
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2017.08.08 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档