python之urllib使用代理访问网页

在写爬虫前,先去xicidaili.com上面随便找两个免费的

代码如下

# coding: utf-8
__author__ = 'www.py3study.com'
import urllib.request
import random
url = 'http://www.baidu.com'

iplist = ['222.73.68.144:8090'] #这里是建了一个代理iplist地址池,如果有多个可往里面添加
proxy_support = urllib.request.ProxyHandler({'http':(random.choice(iplist))})
#random.choice(iplist) 随机去地址池去一个代理ip
opener = urllib.request.build_opener(proxy_support)
opener.addheaders =
[('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64; rv:50.0) Gecko/20100101 Firefox/50.0')]
 #给opener添加一个heraders请求头部
urllib.request.install_opener(opener)
response = urllib.request.urlopen(url)
html = response.read()#.decode('utf-8')
print(html)

应该看到的效果

会打印整个页面,这里只是截了一部分

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏吴柯的运维笔记

【基础必备】RAID阵列分类和进程管理常用指令

RAID阵列概述 廉价冗余磁盘阵列 – Redundant Arrays of Inexpensive Disks – 通过硬件/软件技术,将多个较小/低速的...

26750
来自专栏landv

华为AR2811配置脚本

12920
来自专栏优启梦

获取lofter官方首页背景壁纸

383100
来自专栏python学习指南

Python爬虫(十七)_糗事百科案例

糗事百科实例 爬取糗事百科段子,假设页面的URL是: http://www.qiushibaike.com/8hr/page/1 要求: 使用requests获...

23290
来自专栏岑志军的专栏

(5)初识Mach-O

18640
来自专栏weixuqin 的专栏

spring 学习(五):spring 事务

一个数据库事务通常包含了一个序列的对数据库的读/写操作。它的存在包含有以下两个目的:

10610
来自专栏张戈的专栏

http加速器Varnish的vcl配置小记(lnmp环境)

在以前的公司曾安装过 Varnish,可惜还没摸热就离职了,这次接着倒腾了下 Varnish,并搭建成功,特来记录下,以备后用。 一、测试环境 系统版本:Cen...

49750
来自专栏散尽浮华

全量备份/增量备份/差异备份说明

作为一名运维工程师,在日常工作中会时常对各类重要数据进行备份,为了方便管理,运用何种备份方案是至关重要的。 今天在此简单说明下Linux运维中的备份种类:全量备...

47470
来自专栏JackieZheng

Spring Boot系列——死信队列

我们还是基于上篇《Spring Boot系列——7步集成RabbitMQ》的demo代码来说。

22540
来自专栏菩提树下的杨过

Spring Security笔记:Remember Me(下次自动登录)

前一节学习了如何限制登录尝试次数,今天在这个基础上再增加一点新功能:Remember Me. 很多网站,比如博客园,在登录页面就有这个选项,勾选“下次自动登录”...

52460

扫码关注云+社区

领取腾讯云代金券