重拾python爬虫之urllib

学习一门技术,总是要踩好多坑,然后收货一大堆疑惑,这么多相似的方式该学哪个呢?外面公司常用的是哪个呢? 就比如python爬虫,可以作为网络请求的方式有四种,按时间顺序排:

  1. 第一种urllib2 ,这个包是基于python2的,官方已经对python2停止更新了并且不再免费,我觉得这个urllib2没必要再学习和使用
  2. 第二种urllib 这个是python的标准库,在python3里整合了python2的urlliburllib2 ,有时间的可以学习一下。
  3. 第三种urllib3,这个是第三方库,是对第二种方式urllib的升级,做了很多改善,有时间可以学习一下。
  4. 第四种也是很流行的requests,各种请求的方法非常的优雅和人性化,其底层是urllib3,简化headers、proxy、cookie等的操作。这个重点学习。

作为一个爬虫工程师,如果你连urllib一点不会就说不过去了。虽然不常用,但是学习它,有它的历史意义,对爬虫的整个架构有一个更透彻的了解。

一、简介

urllib是Python中请求url连接的官方标准库,在Python2中主要为urllib和urllib2,在Python3中整合成了urllib。基本上涵盖了基础的网络请求功能。

该库有四个模块,分别是urllib.requesturllib.errorurllib.parseurllib.robotparser。前三个比较常用。

  • urllib.request 发送http请求
  • urllib.error 处理请求过程中,出现的异常。
  • urllib.parse 解析url
  • urllib.robotparser 解析robots.txt 文件

二、请求方式

1、get请求

#第一步导包
from  urllib import request

url = "http://httpbin.org"
#第二步请求
response = request.urlopen(url,timeout=1)
#第三步打印返回数据
print(response.read().decode())

访问的结果会是一个http.client.HTTPResponse对象,使用此对象的read()方法,则可以获取访问网页获得的数据。但是要注意的是,获得的数据会是bytes的二进制格式,所以需要decode()一下,转换成字符串格式。

urllib发送请求是用urlopen() 源码如下

urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None)
  • 第一个参数 String 类型的地址
  • data 是 bytes 类型的内容,可通过 bytes()函数或者encode()转为化字节流。它也是可选参数。使用 data 参数,请求方式变成以 POST 方式提交表单。使用标准格式是application/x-www-form-urlencoded
  • timeout 参数是用于设置请求超时时间。单位是秒。
  • cafilecapath代表 CA 证书和 CA 证书的路径。如果使用HTTPS则需要用到。
  • context参数必须是ssl.SSLContext类型,用来指定SSL设置
  • cadefault参数已经被弃用,可以不用管了。
  • 该方法也可以单独传入urllib.request.Request对象
  • 该函数返回结果是一个http.client.HTTPResponse对象。

http.client.HTTPResponse对象。它具有msgversionstatusreasondebuglevelclosed等属性以及read()readinto()getheader(name)getheaders()fileno()等函数。

# print(response.msg) # OK
# print(response.version)  #11
# print(response.status) #200
# print(response.reason) #OK
# print(response.getcode()) #200
# print(response.getheaders) # <bound method HTTPResponse.getheaders of <http.client.HTTPResponse object at 0x0000023C554DB588>>
# print(response.geturl()) #http://httpbin.org/headers

2、post请求

from  urllib import request,parse

url = "http://httpbin.org"
data = {
    'name':'xfy'
}

# data = bytes(parse.urlencode(data),encoding='utf8');
data = parse.urlencode(data).encode()
response = request.urlopen(url+"/post",data=data)
print(response.status) #200
print(response.read().decode())

data 需要被转码成字节流。而data 是一个字典。我们需要使用 parse.urlencode() 将字典转化为字符串。再使用 bytes()或者encode() 转为字节流。最后使用 urlopen() 发起请求,请求是模拟用 POST 方式提交表单数据。

这里说一下http://httpbin.org,这个url专门是用来爬虫请求测试的。

http://httpbin.org/get   测试get请求
http://httpbin.org/post  测试post请求
http://httpbin.org/headers  测试获得headers  
http://httpbin.org/ip  测试获得ip
http://httpbin.org/cookies  测试获得cookies

三、创建 Request 对象

urlopen()还可以传一个Request对象

req = request.Request(url+"/get")
response = request.urlopen(req)
print(response.read().decode())

urllib/request 包下有一个类Request 其初始化方法如下

    def __init__(self, url, data=None, headers={},
                 origin_req_host=None, unverifiable=False,
                 method=None):
  • url 参数是请求链接,这个是必传参数,其他的都是可选参数。
  • data 参数跟 urlopen() 中的 data 参数用法相同。
  • headers 参数是指定发起的 HTTP 请求的头部信息。headers 是一个字典。它除了在 Request 中添加,还可以通过调用 Reques t实例的 add_header() 方法来添加请求头。
  • origin_req_host 参数指的是请求方的 host 名称或者 IP 地址。
  • unverifiable 参数表示这个请求是否是无法验证的,默认值是False。意思就是说用户没有足够权限来选择接收这个请求的结果。例如我们请求一个HTML文档中的图片,但是我们没有自动抓取图像的权限,我们就要将 unverifiable 的值设置成 True。
  • method 参数指的是发起的 HTTP 请求的方式,有 GET、POST、DELETE、PUT等

四、设置headers 模拟浏览器

通过urllib发起的请求会有默认的一个Headers:"User-Agent":"Python-urllib/3.6",指明请求是由urllib发送的。

所以遇到一些验证User-Agent的网站时,我们需要自定义Headers,而这需要借助于urllib.request中的Request对象。

headers = {
     'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36'
}
req = request.Request(url+"/headers",headers=headers)
response = request.urlopen(req)
print(response.read().decode())

五、Request的高端使用

如果我们需要在请求中添加代理、处理请求的 Cookies,我们需要用到Handler和OpenerDirector。

  1. Handler

Handler 的中文意思是处理者、处理器。 Handler 能处理请求(HTTP、HTTPS、FTP等)中的各种事情。它的具体实现是这个类 urllib.request.BaseHandler。它是所有的 Handler 的基类,其提供了最基本的Handler的方法,例如default_open()、protocol_request()等。 继承 BaseHandler 有很多个,我就列举几个比较常见的类:

  • ProxyHandler:为请求设置代理
  • HTTPCookieProcessor:处理 HTTP 请求中的 Cookies
  • HTTPDefaultErrorHandler:处理 HTTP 响应错误。
  • HTTPRedirectHandler:处理 HTTP 重定向。
  • HTTPPasswordMgr:用于管理密码,它维护了用户名密码的表。
  • HTTPBasicAuthHandler:用于登录认证,一般和 HTTPPasswordMgr 结合使用。
  1. OpenerDirector

对于 OpenerDirector,我们可以称之为 Opener。我们之前用过 urlopen() 这个方法,实际上它就是 urllib 为我们提供的一个Opener。那OpenerHandler 又有什么关系?

  • opener 对象是由build_opener(handler) 方法来创建出来。
  • 我们需要创建自定义的opener,就需要使用 install_opener(opener)方法。
  • 值得注意的是,install_opener实例化会得到一个全局的 OpenerDirector 对象。

1、使用代理

有些网站做了浏览频率限制。如果我们请求该网站频率过高。该网站会被封IP,禁止我们的访问。所以我们需要使用代理来突破这“枷锁”。

proxy_header = request.ProxyHandler({
    'http':'101.236.19.165:8866'
})
opener = request.build_opener(proxy_header)
request.install_opener(opener)

response = request.urlopen(url+"/ip")
print(response.read().decode())

#打印结果
{"origin":"101.236.19.165"}

2、cookie的设置

如果请求的页面每次需要身份验证,我们可以使用 Cookies 来自动登录,免去重复登录验证的操作。获取 Cookies 需要使用http.cookiejar.CookieJar()实例化一个Cookies对象。再用rllib.request.HTTPCookieProcessor构建出handler对象。最后使用 opener 的 open()函数即可。

import http.cookiejar

# 创建一个cookiejar对象
cookie = http.cookiejar.CookieJar()
# 使用HTTPCookieProcessor创建handler处理器
handler = request.HTTPCookieProcessor(cookie)
# 并以它为参数创建Opener对象
opener = request.build_opener(handler)
# 使用这个opener来发起请求
response = opener.urlopen("https://blog.csdn.net/keep_learn/article/details/68124190")
for item in cookie:
    print(item.name)
    print(item.value)

打印结果
dc_session_id
10_1531039395672.102673
uuid_tt_dd
10_19936141720-1531039395672-826694

六、请求异常处理

发起请求难免会出现各种异常,我们需要对异常进行处理,这样会使得程序比较人性化。

异常处理主要用到两个类,urllib.error.URLErrorurllib.error.HTTPError

  • URLError

URLErrorurllib.error异常类的基类, 可以捕获由urllib.request产生的异常。它具有一个属性reason,即返回错误的原因。

from  urllib import request,error
data = {
    'name':'xfy'
}
data = parse.urlencode(data).encode()
try:
    response = request.urlopen(url,data=data)
except error.URLError as e:
    print(e.reason)
    
打印
METHOD NOT ALLOWED
  • HTTPError

HTTPErrorUEKRrror 的子类,专门处理 HTTP 和 HTTPS 请求的错误。它具有三个属性。

  1. code:HTTP 请求返回的状态码。
  2. renson:与父类用法一样,表示返回错误的原因。
  3. headers:HTTP 请求返回的响应头信息。
from  urllib import request,error
data = {
    'name':'xfy'
}
data = parse.urlencode(data).encode()
from urllib import error
try:
    response = request.urlopen(url,data=data)
except error.HTTPError as e:
    print(e.reason)
    print(e.code)
    print(e.headers)
    
打印:
METHOD NOT ALLOWED
405
Connection: close
Server: gunicorn/19.8.1
Date: Sun, 08 Jul 2018 08:57:40 GMT
Content-Type: text/html
Allow: GET, OPTIONS, HEAD
Content-Length: 178
Access-Control-Allow-Origin: *
Access-Control-Allow-Credentials: true
Via: 1.1 vegur

七、下载数据到本地

在我们进行网络请求时常常需要保存图片或音频等数据到本地,一种方法是使用python的文件操作,将read()获取的数据保存到文件中。

urllib提供了一个urlretrieve()方法,可以简单的直接将请求获取的数据保存成文件。

from urllib import request

url = 'http://python.org/'
request.urlretrieve(url, 'python.html')

urlretrieve()方法传入的第二个参数为文件保存的位置,以及文件名。

注:urlretrieve()方法是python2直接移植过来的方法,以后有可能在某个版本中弃用。

八、urllib 处理 https 请求ssl 证书验证

import ssl

#处理HTTPS请求 SSL证书验证 忽略认证 比如12306 网站
url = "https://www.12306.cn/mormhweb/"
#添加忽略ssl证书验证
context = ssl._create_unverified_context()
header = headers = {
    "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11"}
req = request.Request(url, headers=header)
res = request.urlopen(req,context = context)
print(res.read().decode())

九、urllib.parse

urllib.parse是urllib中用来解析各种数据格式的模块。

urllib.parse.quote

在url中,是只能使用ASCII中包含的字符的,也就是说,ASCII不包含的特殊字符,以及中文等字符都是不可以在url中使用的。而我们有时候又有将中文字符加入到url中的需求,例如百度的搜索地址:

https://www.baidu.com/s?wd=周杰伦

?之后的wd参数,则是我们搜索的关键词。那么我们实现的方法就是将特殊字符进行url编码,转换成可以url可以传输的格式,urllib中可以使用quote()方法来实现这个功能。

from urllib import parse
keyword = '周杰伦'
parse.quote(keyword)

%E5%91%A8%E6%9D%B0%E4%BC%A6

如果需要将编码后的数据转换回来,可以使用unquote()方法。

parse.unquote('%E5%91%A8%E6%9D%B0%E4%BC%A6')
'周杰伦'

urllib.parse.urlencode

在访问url时,我们常常需要传递很多的url参数,而如果用字符串的方法去拼接url的话,会比较麻烦,所以urllib中提供了urlencode这个方法来拼接url参数。

params = {'query':'徐繁韵','name':'xfy'}
data = parse.urlencode(params)
print(data)

query=%E5%BE%90%E7%B9%81%E9%9F%B5&name=xfy

urllib这个官方的python标准库,了解为主。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏拂晓风起

Unity 添加自定义菜单(插件),添加功能

13240
来自专栏数据库

详解Redis内部运作机制

纯手工打造每一篇开源资讯与技术干货,数十万程序员和Linuxer已经关注。 Linux技术交流QQ群:2659793(十二月最新!!) Redis数据库(Red...

22470
来自专栏青玉伏案

iOS开发之再探多线程编程:Grand Central Dispatch详解

Swift3.0相关代码已在github上更新。之前关于iOS开发多线程的内容发布过一篇博客,其中介绍了NSThread、操作队列以及GCD,介绍的不够深入。今...

20470
来自专栏张善友的专栏

使用自定义行为扩展 WCF

Windows® Communication Foundation (WCF) 提供了许多扩展点,供开发人员自定义运行时行为,从而实现服务调度和客户代理调用。您...

39170
来自专栏北京马哥教育

面试分享系列 | 17道Python面试题,让你在求职中无往不利

今天给大家分享的是Python面试题系列的第一篇文章,后续我也会陆续整理Python相关的问题给大家,无论是求职者还是新人都可以通过面试题来考察自己的能力缺陷。...

38040
来自专栏13blog.site

Spring+SpringMVC+MyBatis+easyUI整合基础篇(八)mysql中文查询bug修复

前言   在测试搜索时出现的问题,mysql通过中文查询条件搜索不出数据,但是英文和数字可以搜索到记录,中文无返回记录。本文就是写一下发现问题的过程及解决方法...

34550
来自专栏CDA数据分析师

学会这几招,轻松掌握Python文件管理

一、Python中的文件管理 文件管理是很多应用程序的基本功能和重要组成部分。Python可以使文件管理极其简单,特别是和其它语言相对比。 以下,Peyton ...

31460
来自专栏linux驱动个人学习

VFS四大对象之二 struct inode

继上一篇文章:https://cloud.tencent.com/developer/article/1053842 二、inode结构体:(转自http://...

60970
来自专栏小狼的世界

Python3.6学习笔记(四)

程序运行中,可能会遇到BUG、用户输入异常数据以及其它环境的异常,这些都需要程序猿进行处理。Python提供了一套内置的异常处理机制,供程序猿使用,同时PDB提...

17940
来自专栏Java架构

Java并发之Condition的实现分析

回忆 synchronized 关键字,它配合 Object 的 wait()、notify() 系列方法可以实现等待/通知模式。

8220

扫码关注云+社区

领取腾讯云代金券