爬虫系列（4）深入urllib库并初步了解URLError与Cookie。
爬虫系列（4）深入urllib库并初步了解URLError与Cookie。
1. 伪装自己
有些网站不会同意程序直接用上面的方式进行访问，如果识别有问题，那么站点根本不会响应，所以为了完全模拟浏览器的工作
1.1 设置请求头
其中`User-Agent`代表用的哪个请求的浏览器
代码如下：
from urllib.request import urlopen
from urllib.request import Request
url = 'http://www.server.com/login'
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
headers = { 'User-Agent' : user_agent }
request = Request(url, headers=headers)
response = urlopen(request)
page = response.read() 对付防盗链，服务器会识别headers中的referer是不是它自己，如果不是，有的服务器不会响应，所以我们还可以在headers中加入referer
代码如下：
headers = {
'User-Agent' : 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)',
'Referer':'http://www.zhihu.com/articles'
} 提示
▎在此可以使用多个User_Agent:然后随即选择
import urllib.request
import random
ua_list = [
"Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0)",
"Mozilla/5.0 (Windows; U; Windows NT 5.2) Gecko/2008070208 Firefox/3.0.1",
"Mozilla/5.0 (Windows; U; Windows NT 5.2) AppleWebKit/525.13 (KHTML, like Gecko) Version/3.1",
"Mozilla/5.0 (Windows; U; Windows NT 5.2) AppleWebKit/525.13 (KHTML, like Gecko) Chrome/0.2.149.27",
"Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1) ; QIHU 360EE)"
]
user_agent = random.choice(ua_list)
request = urllib.request.Request("http://www.baidu.com")
request.add_header("User-Agent",user_agent)
#区分大小写
print(request.get_header("User-agent"))1.2 设置代理Proxy
> 假如一个网站它会检测某一段时间某个IP 的访问次数，如果访问次数过多，它会禁止你的访问。所以你可以设置一些代理服务器来帮助你做工作，每隔一段时间换一个代理，网站君都不知道是谁在捣鬼了，这酸爽！
分类：
- 透明代理：目标网站知道你使用了代理并且知道你的源IP地址，这种代理显然不符合我们这里使用代理的初衷
- 匿名代理：匿名程度比较低，也就是网站知道你使用了代理，但是并不知道你的源IP地址
- 高匿代理：这是最保险的方式，目标网站既不知道你使用的代理更不知道你的源IP
代码如下：
from urllib.request import ProxyHandler
from urllib.request import build_opener
proxy = ProxyHandler({"http": "119.109.197.195:80"})
opener = build_opener(proxy)
url = "http://www.baidu.com"
response = opener.open(url)
print(response.read().decode("utf-8"))2 使用DebugLog
可以通过下面的方法把 Debug Log 打开，这样收发包的内容就会在屏幕上打印出来，方便调试，这个也不太常用，仅提一下
from urllib.request import HTTPHandler
from urllib.request import build_opener
from urllib.request import Request
handler = HTTPHandler(debuglevel=1)
opener = build_opener(handler)
url = "http://www.sohu.com"
request = Request(url)
response = opener.open(request)3. Cookie
为什么要使用Cookie呢？
Cookie，指某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据（通常经过加密）
比如说有些网站需要登录后才能访问某个页面，在登录之前，你想抓取某个页面内容是不允许的。那么我们可以利用Urllib库保存我们登录的Cookie，然后再抓取其他页面就达到目的了。
3.1 Opener
当你获取一个URL你使用一个opener(一个urllib.OpenerDirector的实例)。在前面，我们都是使用的默认的opener，也就是urlopen。它是一个特殊的opener，可以理解成opener的一个特殊实例，传入的参数仅仅是url，data，timeout。
如果我们需要用到Cookie，只用这个opener是不能达到目的的，所以我们需要创建更一般的opener来实现对Cookie的设置
3.2 Cookielib
cookielib模块的主要作用是提供可存储cookie的对象，以便于与urllib模块配合使用来访问Internet资源。Cookielib模块非常强大，我们可以利用本模块的CookieJar类的对象来捕获cookie并在后续连接请求时重新发送，比如可以实现模拟登录功能。该模块主要的对象有CookieJar、FileCookieJar、MozillaCookieJar、LWPCookieJar
案例1：获取Cookie保存到变量
from urllib.request import HTTPCookieProcessor
from urllib.request import build_opener
from urllib.request import Request
from http.cookiejar import CookieJar
from urllib.parse import urlencode
#声明一个CookieJar对象实例来保存cookie
cookie = CookieJar()
#利用HTTPCookieProcessor对象来创建cookie处理器
cookiePro = HTTPCookieProcessor(cookie)
#通过handler来构建opener
opener = build_opener(cookiePro)
login_url = "http://www.sxt.cn/index/login/login"
header = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.79 Safari/537.36"}
fromdata = {
"user": "17703181473",
"password": "123456"
}
data = urlencode(fromdata).encode()
request = Request(login_url, headers=header, data=data)
response = opener.open(request)
info_url = 'http://www.sxt.cn/index/user.html'
request_info = Request(info_url)
response = opener.open(request_info)
html = response.read()
print(html.decode())我们使用以上方法将cookie保存到变量中，然后打印出了cookie中的值。
以上程序的原理如下：
创建一个带有cookie的opener，在访问登录的URL时，将登录后的cookie保存下来，然后利用这个cookie来访问其他网址。
案例2：cookie保存文件的读取
from urllib.request import build_opener, Request
from urllib.request import HTTPCookieProcessor
from http.cookiejar import MozillaCookieJar
from urllib.parse import urlencode
def get_cookie():
# 请求头
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36"}
login_url = "http://www.sxt.cn/index/login/login.html"
form_data = {
"user": "17703181473",
"password": "123456"
}
# 转换编码
f_data = urlencode(form_data)
req = Request(login_url, headers=headers, data=f_data.encode())
# 创建保存可以序列化cookie的文件对象
cookie = MozillaCookieJar("cookie.txt")
# 构造可保存cookie的控制器
c_handler = HTTPCookieProcessor(cookie)
# 构造opener
opener = build_opener(c_handler)
# 发送请求 -- 登录成功 （用户名和密码 正确）
opener.open(req)
cookie.save(ignore_discard=True, ignore_expires=True)
def use_cookie():
# 请求头
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36"}
info_url = "http://www.sxt.cn/index/user.html"
# 创建保存可以序列化cookie的文件对象
cookie = MozillaCookieJar()
# 加载cookie文件
cookie.load("cookie.txt", ignore_discard=True, ignore_expires=True)
# 构造可保存cookie的控制器
c_handler = HTTPCookieProcessor(cookie)
# 构造opener
opener = build_opener(c_handler)
# 构造访问个人页面请求
req1 = Request(info_url, headers=headers)
# 发送请求
resp2 = opener.open(req1)
# 打印信息
print(resp2.read().decode())
if __name__ == '__main__':
# get_cookie()
use_cookie()4. URLError
首先解释下URLError可能产生的原因：
- 网络无连接，即本机无法上网
- 连接不到特定的服务器
- 服务器不存在
在代码中，我们需要用try-except语句来包围并捕获相应的异常,代码如下：
from urllib.request import Request, urlopen
from urllib.error import URLError
url = "http://www.sx435334t.cn/index/us3er.html"
try:
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36"
}
req = Request(url, headers=headers)
resp = urlopen(url, timeout=1)
print(resp.read().decode())
except URLError as e:
if len(e.args) == 0:
print(e.code)
else:
print(e.args[0])
print("获取数据完毕")我们利用了 urlopen方法访问了一个不存在的网址，运行结果如下：
[Errno 11004] getaddrinfo failed