比较基础的urllib库来了解一下

什么是urllib库

Python内置的HTTP请求库

  • urllib.request 请求模块
  • urllib.error 异常处理模块
  • urllib.parse url解析模块
  • urllib.robotparser robots.txt解析模块

相比Python2的变化

在Python2.x中,这个库叫做urllib2,在Python3.x里,urllib2改名为urllib,被分成了三个子模块:

  • urllib.request
  • urllib.parse
  • urllib.error

Python2

import urllib2
response = urllib.urlopen('http://www.baidu.com')

python3

import urllib.request
response = urllib.request.urlopen('http://www.baidu.com')

urlopen函数

函数原型

# 函数原型:
urllib.request.urlopen(url, data=none, [timeout]*, -------- )
# 主要参数为请求URL、data数据和超时设置

基本示例

import urllib.request

response = urllib.request.urlopen('http://www.baidu.com')
print(response.read().decode('utf-8'))
# read()方法是读取响应体的内容
# decode('utf-8') 表示以'utf-8'格式解码
# encoding='utf-8' 表示以'utf-8'格式编码

输出内容为百度首页的源代码,太多了,这里就不贴了。

在urlopen中携带data数据

import urllib.requestimport urllib.parse

data = bytes(urllib.parse.urlencode({'word':'hello'}), encoding='utf-8')
# 在urlopen中携带data数据
# http://httpbin.org是一个测试HTTP请求的网站
response = urllib.request.urlopen('http://httpbin.org/post', data=data)
print(response.read())
b'{"args":{},"data":"","files":{},"form":{"word":"hello"},"headers":{"Accept-Encoding":"identity","Connection":"close","Content-Length":"10","Content-Type":"application/x-www-form-urlencoded","Host":"httpbin.org","User-Agent":"Python-urllib/3.6"},"json":null,"origin":"117.139.10.7","url":"http://httpbin.org/post"}\n'

设置超时参数

import urllib.request

# 设置超时参数
response = urllib.request.urlopen('http://httpbin.org/get', timeout=1)
print(response.read())
b'{"args":{},"headers":{"Accept-Encoding":"identity","Connection":"close","Host":"httpbin.org","User-Agent":"Python-urllib/3.6"},"origin":"117.139.10.7","url":"http://httpbin.org/get"}\n'
import urllib.request
import urllib.error
import socket

try:
    response = urllib.request.urlopen('http://httpbin.org/get', timeout=0.1)
except urllib.error.URLError as e:    
    if isinstance(e.reason, socket.timeout):
        print('TIME OUT')
TIME OUT

响应

响应类型

import urllib.request

response = urllib.request.urlopen('http://www.python.org')
print(type(response))
<class 'http.client.HTTPResponse'>

状态码、响应头

import urllib.request

response = urllib.request.urlopen('https://www.python.org')
print(response.status)  # 输出状态码print(response.getheaders())
print(response.getheader('Server'))
200
[('Server', 'nginx'), ('Content-Type', 'text/html; charset=utf-8'), ('X-Frame-Options', 'SAMEORIGIN'), ('x-xss-protection', '1; mode=block'), ('X-Clacks-Overhead', 'GNU Terry Pratchett'), ('Via', '1.1 varnish'), ('Content-Length', '48703'), ('Accept-Ranges', 'bytes'), ('Date', 'Tue, 29 May 2018 10:57:05 GMT'), ('Via', '1.1 varnish'), ('Age', '932'), ('Connection', 'close'), ('X-Served-By', 'cache-iad2148-IAD, cache-lax8633-LAX'), ('X-Cache', 'HIT, HIT'), ('X-Cache-Hits', '1, 14'), ('X-Timer', 'S1527591425.014404,VS0,VE0'), ('Vary', 'Cookie'), ('Strict-Transport-Security', 'max-age=63072000; includeSubDomains')]
nginx

Request

# urlopen函数不能携带headers信息
# Request函数可以携带headers等信息
import urllib.request

request = urllib.request.Request('https://www.python.org')
response = urllib.request.urlopen(request)
print(response.code)
200

携带data数据和headers信息的Request请求

from urllib import request, parse

url = 'http://httpbin.org/post'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36'

}
dict = {
    'name' : 'germey'
}
data = bytes(parse.urlencode(dict), encoding='utf-8')
req = request.Request(url=url, data=data, headers=headers, method='POST')
response = request.urlopen(req)
print(response.read().decode('utf-8'))
{"args":{},"data":"","files":{},"form":{"name":"germey"},"headers":{"Accept-Encoding":"identity","Connection":"close","Content-Length":"11","Content-Type":"application/x-www-form-urlencoded","Host":"httpbin.org","User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36"},"json":null,"origin":"117.139.10.7","url":"http://httpbin.org/post"}

cookie

# cookie是用来保存登陆状态的
import http.cookiejar, urllib.request

cookie = http.cookiejar.CookieJar()
handler = urllib.request.HTTPCookieProcessor(cookie)
opener = urllib.request.build_opener(handler)
response = opener.open('http://www.baidu.com')
for item in cookie:
    print(item.name+ " = " +item.value)
BAIDUID = E2078AB08DD6A6FE566A65305B8E1944:FG=1
BIDUPSID = E2078AB08DD6A6FE566A65305B8E1944
H_PS_PSSID = 1460_21080_26430
PSTM = 1527595557
BDSVRTM = 0
BD_HOME = 0

将cookie信息保存下来

import http.cookiejar, urllib.request

# 将cookie信息保存为文本文档
filename = 'cookie.txt'
cookie = http.cookiejar.MozillaCookieJar(filename) # 谷歌浏览器的cookie保存格式
handler = urllib.request.HTTPCookieProcessor(cookie)
opener = urllib.request.build_opener(handler)
response = opener.open('http://www.baidu.com')
cookie.save(ignore_discard=True, ignore_expires=True) # 使用save方法将cookie保存下来

使用load方法将读取已保存好的cookie信息

import http.cookiejar, urllib.request

cookie = http.cookiejar.MozillaCookieJar()
# 使用load方法将读取已保存好的cookie信息
# 将这个cookie再次放在request中请求网页
cookie.load('cookie.txt', ignore_discard=True, ignore_expires=True)
handler = urllib.request.HTTPCookieProcessor(cookie)
opener = urllib.request.build_opener(handler)
response = opener.open('http://www.baidu.com')
print(response.code)
200

异常处理

from urllib import request, error

try: 
    response = request.urlopen('http://www.jianshu.com/index.html')
except error.URLError as e:
    print(e.reason)
Forbidden

验证异常的具体类型

import socket
import urllib.request
import urllib.error

try:
    response = urllib.request.urlopen('http://www.baidu.com', timeout=0.01)
except urllib.error.URLError as e:  # 验证异常的具体类型
    print(type(e.reason))
    if isinstance(e.reason, socket.timeout):
        print('TIME OUT')
<class 'socket.timeout'>
TIME OUT

urlparse

函数原型

# 函数原型
urllib.parse.urlparse(urlstring, scheme="", allow_fragments=True)
# 参数scheme指的是协议类型

示例:

from urllib.parse import urlparse

result = urlparse('http://www.baidu.com/index。html;user?id=5#commont')
print(type(result), result)
<class 'urllib.parse.ParseResult'> ParseResult(scheme='http', netloc='www.baidu.com', path='/index。html', params='user', query='id=5', fragment='commont')

urlunparse

# urlunparse函数是urlparse函数的反函数,可以用来拼接URL
from urllib.parse import urlunparse

data = ['http', 'www.baidu.com', 'index.html', 'user', 'id=5', 'comment']
print(urlunparse(data))
http://www.baidu.com/index.html;user?id=5#comment

urljoin

# 用来拼接url
from urllib.parse import urljoin

# 以后面的url为基准,将两个url进行拼接或者覆盖前一个url
print(urljoin('http://www.baidu.com', 'FAQ.html'))
print(urljoin('http://www.baidu.com', 'https://www.baidu.com/FAQ.html'))
print(urljoin('http://www.baidu.com', 'https://www.jianshu.com/u/13b5875d0a63'))
print(urljoin('https://www.jianshu.com', 'u/13b5875d0a63'))
http://www.baidu.com/FAQ.html
https://www.baidu.com/FAQ.html
https://www.jianshu.com/u/13b5875d0a63
https://www.jianshu.com/u/13b5875d0a63

urlencode

# urlencode将字典对象转换为get请求参数
from urllib.parse import urlencode

params = {
    "name": "gemmry",
    'age': 22
}
base_url = 'http://www.baidu.com?'
url = base_url + urlencode(params)
print(url)
http://www.baidu.com?name=gemmry&age=22

urllib库常用函数大致就是这些,其实这个还是比较繁琐的,最好用的HTTP请求库当然是requests了,下次再来了解下吧。

每天学习一点点,每天进步一点点。

END

推荐阅读:

Python常用库整理

【读书笔记】《增长黑客》创业公司的用户与收入增长秘籍

原文发布于微信公众号 - 一个爱吃西瓜的程序员(youcoding)

原文发表时间:2018-05-30

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏程序员互动联盟

【答疑释惑第三十六讲】Windows下如何调试?

疑惑一 Windows窗口程序到底能不能用printf? 很多小伙伴在控制台下写程序时,要打印或者调试很方便,用printf就可以直接打印输出,方便看结果,但是...

2704
来自专栏蓝天

Linux下共享库(SO)有关的几个环境变量

Linux支持共享库已经有悠久的历史了,不再是什么新概念了。大家都知道如何编译、连接以及动态加载(dlopen/dlsym/dlclose) 共享库。但是,...

1411
来自专栏求索之路

Android数据层架构的实现 上篇

最近我们app的服务器吃不消了,所以我在为服务器增加缓存层之后,又想到在app端进行二级缓存以减少app对服务器的访问。我想很多app应该在项目的初期架构的时...

3168
来自专栏前端杂谈

vue使用Axios做ajax请求

48612
来自专栏安恒网络空间安全讲武堂

Python编写渗透工具学习笔记二 | 0x04编写程序分析流量检测ddos攻击

0x04编写程序分析流量 检测ddos攻击 1使用dpkt发现下载loic的行为 LOIC,即Low Orbit Ion Cannon低轨道离子炮,是用于压力测...

1.2K6
来自专栏Java3y

Servlet第六篇【Session介绍、API、生命周期、应用、与Cookie区别】

什么是Session Session 是另一种记录浏览器状态的机制。不同的是Cookie保存在浏览器中,Session保存在服务器中。用户使用浏览器访问服务器的...

5315
来自专栏spring源码深度学习

重拾python爬虫之urllib3

Urllib3是一个功能强大,条理清晰,用于HTTP客户端的Python库。许多Python的原生系统已经开始使用urllib3。Urllib3提供了很多pyt...

1522
来自专栏魏琼东

基于DotNet构件技术的企业级敏捷软件开发平台 - AgileEAS.NET平台开发指南 - 实现插件

插件契约介绍          我们知道,要基于平台(容器)加插件的这种模式进行开发,我们必须定义一组契约,用于约束模块插件开发,也就是说,模块插件需要遵守一定...

1948
来自专栏Python

flask celery 使用方法

由于celery4.0不支持window,如果在window上安装celery4.0将会出现下面的错误

3980
来自专栏Python攻城狮

Python网络爬虫(三)- 爬虫进阶1.爬虫进阶cookielib2.具体代码操作

注解:这里使用urllib2.HTTPHandler()访问https网页得到的html代码。

1564

扫码关注云+社区

领取腾讯云代金券