前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >urllib高级用法--登陆和cookies的使用

urllib高级用法--登陆和cookies的使用

作者头像
py3study
发布2020-01-20 11:27:39
1.8K0
发布2020-01-20 11:27:39
举报
文章被收录于专栏:python3

对于一些更高级的操作(比如Cookies处理,代理设置,登陆验证),urllib怎么实现?需要更强大的工具Handler登场了,有专门处理登录验证的,有处理Cookies的,用处理代理设置的,几乎做到http请求的所有事情。

Handler子类继承BaseHandler 类

HITPDefaultErrorHandler :用于处理Http响应错误,错误都会抛出 HTTPError 类型的异常。

HTTPRedirectHandler :用于处理重定向。

HTTPCookieProcessor :用于处理Cookies。

ProxyHandler :用于设置代理,默认代理为空。

HTTPPasswordMgr :用于管理密码,它维护了用户名和密码的表。

HTTPBasicAuthHandler :用于管理认证,如果一个链接打开时需要认证,那么可以用它来解决认证问题.

更多详情参考:https://docs.python.org/3/library/urllib.request.html#urllib.request.BaseHandler

利用Handler来构建Opener

验证:有些网站打开就会提示输入用户名和密码,验证成功后才能查看页面

blob.png
blob.png

这样的请求页面,怎么办?借助HTTPBasicAuthHandler 就可以完成,完整代码如下:

代码语言:javascript
复制
#!/usr/bin/env python
# coding: utf-8
from urllib.request import HTTPPasswordMgrWithDefaultRealm
from urllib.request import HTTPBasicAuthHandler
from urllib.request import build_opener
from urllib.request import URLError

username = 'root'
password = '123456'
url = 'http://localhost:5000'

p = HTTPPasswordMgrWithDefaultRealm()
p.add_password(None, url, username, password)
auth_handler = HTTPBasicAuthHandler(p)
opener = build_opener(auth_handler)

try:
    ret = opener.open(url)
    html = ret.read().decode('utf8')
    print(html)
except URLError as e:
    print(e.reason)

运行结果,可以看到已经登录成功

blob.png
blob.png

代理IP的使用

在写爬虫的时候,免不了要使用代理,如果要添加代理,可以这样做:

代码语言:javascript
复制
from urllib.request import ProxyHandler,build_opener
from urllib.error import URLError

proxy_handler = ProxyHandler({
    'http': 'http://163.158.203.206:8080',
})
opener = build_opener(proxy_handler)
try:
    response = opener.open('https://www.baidu.com')
    print(response.read().decode('utf8'))
except URLError as e:
    print(e.reason)

注释:使用了ProxyHandler,其参数是一个字典,键为协议类型(HTTP或者HTTPS等),value是代理链接,可以添加多个代理,利用Handler及build_opener()方法构造一个Opener,之后发送请求即可。

Cookies

Cookies的处理就需要相关的Handler了

实例:怎么获取网站的Cookies

代码如下:

代码语言:javascript
复制
import http.cookiejar
import urllib.request

cookie = http.cookiejar.CookieJar()
handler = urllib.request.HTTPCookieProcessor(cookie)
opener = urllib.request.build_opener(handler)
response = opener.open('http://www.baidu.com')
for item in cookie:
    print(item.name + "=" + item.value)

运行结果如下:

blob.png
blob.png

这里输出了每条Cookie的名称和值

如何输出成文件格式呢?代码如下:

代码语言:javascript
复制
import http.cookiejar
import urllib.request

filename = 'cookies.txt'
cookie = http.cookiejar.MozillaCookieJar(filename)
handler = urllib.request.HTTPCookieProcessor(cookie)
opener = urllib.request.build_opener(handler)
response = opener.open('http://www.baidu.com')
cookie.save(ignore_discard=True, ignore_expires=True)

运行程序后,生成cookies.txt文件,内容如下:

blob.png
blob.png

另外,LWPCookieJar同样可以读取和保存Cookies,但是保存的格式和MozillaCookieJar不一样,要保存成LWP格式的Cookies文件,可以在声明时就改为:cookie = http.cookiejar.LWPCookieJar(filename),代码如下:

代码语言:javascript
复制
import http.cookiejar
import urllib.request

filename = 'cookies.txt'
cookie = http.cookiejar.LWPCookieJar(filename)
handler = urllib.request.HTTPCookieProcessor(cookie)
opener = urllib.request.build_opener(handler)
response = opener.open('http://www.baidu.com')
cookie.save(ignore_discard=True, ignore_expires=True)

运行后,生成cookies.txt文件内容如下:

blob.png
blob.png

生成Cookies文件后,怎样从文件中读取并利用呢?

下面以LWPCookieJar格式为例来看一下:

代码语言:javascript
复制
import http.cookiejar
import urllib.request

cookie = http.cookiejar.LWPCookieJar()
cookie.load('cookies.txt', ignore_discard=True, ignore_expires=True)
handler = urllib.request.HTTPCookieProcessor(cookie)
opener = urllib.request.build_opener(handler)
response = opener.open('http://www.baidu.com')
print(response.read().decode('utf8'))

运行结果如下:

blob.png
blob.png

注释:这里调用load()方法来读取本地的Cookies文件,获取到了Cookies的内容,前提是首先生成了LWPCookieJar格式的Cookies,并保存成文件,然后读取Cookies使用同样的方法构建Handler和Opener即可完成操作

这些是urllib库中request模块的基本用法,想知道更多,可以参考:

官方文档说明:https://docs.python.org/3/library/urllib.request.html#basehandler-objects

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2018/09/06 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档