专栏首页技术探究-前端、Python、爬虫、数据分析、工具爬虫系列(4)深入urllib库并初步了解URLError与Cookie。

爬虫系列(4)深入urllib库并初步了解URLError与Cookie。

1. 伪装自己

有些网站不会同意程序直接用上面的方式进行访问,如果识别有问题,那么站点根本不会响应,所以为了完全模拟浏览器的工作



1.1 设置请求头

其中`User-Agent`代表用的哪个请求的浏览器

代码如下:

from urllib.request import urlopen
from urllib.request import Request


url = 'http://www.server.com/login'
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)' 
headers = { 'User-Agent' : user_agent }  


request = Request(url, headers=headers)  
response = urlopen(request)  
page = response.read() 

对付防盗链,服务器会识别headers中的referer是不是它自己,如果不是,有的服务器不会响应,所以我们还可以在headers中加入referer

代码如下:

headers = { 
         'User-Agent' : 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)',
         'Referer':'http://www.zhihu.com/articles' 
          } 

提示

▎在此可以使用多个User_Agent:然后随即选择

import urllib.request
import random
ua_list = [
    "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0)",
    "Mozilla/5.0 (Windows; U; Windows NT 5.2) Gecko/2008070208 Firefox/3.0.1",
    "Mozilla/5.0 (Windows; U; Windows NT 5.2) AppleWebKit/525.13 (KHTML, like Gecko) Version/3.1",
    "Mozilla/5.0 (Windows; U; Windows NT 5.2) AppleWebKit/525.13 (KHTML, like Gecko) Chrome/0.2.149.27",
    "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1) ;  QIHU 360EE)"
]
user_agent = random.choice(ua_list)
request = urllib.request.Request("http://www.baidu.com")
request.add_header("User-Agent",user_agent)
#区分大小写
print(request.get_header("User-agent"))

1.2 设置代理Proxy

> 假如一个网站它会检测某一段时间某个IP 的访问次数,如果访问次数过多,它会禁止你的访问。所以你可以设置一些代理服务器来帮助你做工作,每隔一段时间换一个代理,网站君都不知道是谁在捣鬼了,这酸爽!

分类:

  • 透明代理:目标网站知道你使用了代理并且知道你的源IP地址,这种代理显然不符合我们这里使用代理的初衷
  • 匿名代理:匿名程度比较低,也就是网站知道你使用了代理,但是并不知道你的源IP地址
  • 高匿代理:这是最保险的方式,目标网站既不知道你使用的代理更不知道你的源IP

代码如下:

from urllib.request import ProxyHandler
from urllib.request import build_opener


proxy = ProxyHandler({"http": "119.109.197.195:80"})
opener = build_opener(proxy)
url = "http://www.baidu.com"
response = opener.open(url)
print(response.read().decode("utf-8"))

2 使用DebugLog

可以通过下面的方法把 Debug Log 打开,这样收发包的内容就会在屏幕上打印出来,方便调试,这个也不太常用,仅提一下

from urllib.request import HTTPHandler
from urllib.request import build_opener
from urllib.request import Request


handler = HTTPHandler(debuglevel=1)
opener = build_opener(handler)
url = "http://www.sohu.com"
request = Request(url)
response = opener.open(request)

3. Cookie

为什么要使用Cookie呢?

Cookie,指某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据(通常经过加密)

比如说有些网站需要登录后才能访问某个页面,在登录之前,你想抓取某个页面内容是不允许的。那么我们可以利用Urllib库保存我们登录的Cookie,然后再抓取其他页面就达到目的了。


3.1 Opener

当你获取一个URL你使用一个opener(一个urllib.OpenerDirector的实例)。在前面,我们都是使用的默认的opener,也就是urlopen。它是一个特殊的opener,可以理解成opener的一个特殊实例,传入的参数仅仅是url,data,timeout。

如果我们需要用到Cookie,只用这个opener是不能达到目的的,所以我们需要创建更一般的opener来实现对Cookie的设置


3.2 Cookielib

cookielib模块的主要作用是提供可存储cookie的对象,以便于与urllib模块配合使用来访问Internet资源。Cookielib模块非常强大,我们可以利用本模块的CookieJar类的对象来捕获cookie并在后续连接请求时重新发送,比如可以实现模拟登录功能。该模块主要的对象有CookieJar、FileCookieJar、MozillaCookieJar、LWPCookieJar

案例1:获取Cookie保存到变量

from urllib.request import HTTPCookieProcessor
from urllib.request import build_opener
from urllib.request import Request
from http.cookiejar import CookieJar
from urllib.parse import urlencode
#声明一个CookieJar对象实例来保存cookie
cookie = CookieJar()
#利用HTTPCookieProcessor对象来创建cookie处理器
cookiePro = HTTPCookieProcessor(cookie)
#通过handler来构建opener
opener = build_opener(cookiePro)
login_url = "http://www.sxt.cn/index/login/login"
header = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.79 Safari/537.36"}
fromdata = {
    "user": "17703181473",
    "password": "123456"
}
data = urlencode(fromdata).encode()
request = Request(login_url, headers=header, data=data)
response = opener.open(request)
info_url = 'http://www.sxt.cn/index/user.html'
request_info = Request(info_url)
response = opener.open(request_info)
html = response.read()
print(html.decode())

我们使用以上方法将cookie保存到变量中,然后打印出了cookie中的值。

以上程序的原理如下:

创建一个带有cookie的opener,在访问登录的URL时,将登录后的cookie保存下来,然后利用这个cookie来访问其他网址。

案例2:cookie保存文件的读取

from urllib.request import build_opener, Request
from urllib.request import HTTPCookieProcessor
from http.cookiejar import MozillaCookieJar
from urllib.parse import urlencode




def get_cookie():
    # 请求头
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36"}
    login_url = "http://www.sxt.cn/index/login/login.html"
    form_data = {
        "user": "17703181473",
        "password": "123456"
    }
    # 转换编码
    f_data = urlencode(form_data)
    req = Request(login_url, headers=headers, data=f_data.encode())
    # 创建保存可以序列化cookie的文件对象
    cookie = MozillaCookieJar("cookie.txt")
    # 构造可保存cookie的控制器
    c_handler = HTTPCookieProcessor(cookie)
    # 构造opener
    opener = build_opener(c_handler)
    # 发送请求 -- 登录成功 (用户名和密码 正确)
    opener.open(req)
    cookie.save(ignore_discard=True, ignore_expires=True)




def use_cookie():
    # 请求头
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36"}


    info_url = "http://www.sxt.cn/index/user.html"
    # 创建保存可以序列化cookie的文件对象
    cookie = MozillaCookieJar()
    # 加载cookie文件
    cookie.load("cookie.txt", ignore_discard=True, ignore_expires=True)
    # 构造可保存cookie的控制器
    c_handler = HTTPCookieProcessor(cookie)
    # 构造opener
    opener = build_opener(c_handler)
    # 构造访问个人页面请求
    req1 = Request(info_url, headers=headers)
    # 发送请求
    resp2 = opener.open(req1)
    # 打印信息
    print(resp2.read().decode())




if __name__ == '__main__':
    # get_cookie()
    use_cookie()

4. URLError

首先解释下URLError可能产生的原因:

  • 网络无连接,即本机无法上网
  • 连接不到特定的服务器
  • 服务器不存在

在代码中,我们需要用try-except语句来包围并捕获相应的异常,代码如下:

from urllib.request import Request, urlopen
from urllib.error import URLError


url = "http://www.sx435334t.cn/index/us3er.html"
try:
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36"
    }
    req = Request(url, headers=headers)


    resp = urlopen(url, timeout=1)


    print(resp.read().decode())
except URLError as e:
    if len(e.args) == 0:
        print(e.code)
    else:
        print(e.args[0])


print("获取数据完毕")

我们利用了 urlopen方法访问了一个不存在的网址,运行结果如下:

[Errno 11004] getaddrinfo failed

本文分享自微信公众号 - 离不开的网(Gy_dxj)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-05-30

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • [个人网站搭建]·Django增加评论功能(Python3)

    个人主页--> https://xiaosongshine.github.io/

    小宋是呢
  • 前端路由跳转基本原理

    目前前端三杰 Angular、React、Vue 都推介单页面应用 SPA 开发模式,在路由切换时替换 DOM Tree 中最小修改的部分 DOM,来减少原先因...

    SHERlocked93
  • 腾讯云CDN接入教程

    https://cloud.tencent.com/redirect.php?redirect=1042&cps_key=6f5f5aedea72d213ca3...

    勤劳的小蜜蜂
  • 爬虫入门:网络请求分析

    摘要:看到有不少爬虫新手都是一头扎进代码里,一通乱弄,最后,跑通从大佬那里拿到的代码,嘿嘿嘿,抓到了数据结果,然后就没有然后,后面一出问题就又一脸懵逼,恢复到”...

    马哥Python
  • 短url服务的设计以及实现

    最理想的情况是: 我们用一种算法,对每一个长URL,唯一的转换成短URL.还能保持反向转换的能力.

    呼延十
  • 用python带你爬取小视频,看完“身体一天不如一天”

    另外,关于python编程学习,小编给大家提供一个学习交流裙,欢迎到访:六一 一,五三零,一零一

    诸葛青云
  • 腾讯云特大优惠活动上线产品3折起新用户更有2860优惠券可领取

    腾讯云活动上线啦,凡完成腾讯云官网注册且完成实名认证的国内站用户均可参与。活动期间,除了可以参加每天5场的秒杀活动外,还有代金券大礼包可以领取,同时,云服务器、...

    勤劳的小蜜蜂
  • Spring Security 表单登录

    本文将重点介绍使用 SpringSecurity登录。 本文将构建在之前简单的Spring MVC示例之上,因为这是设置Web应用程序和登录机制的必不可少的。

    乱敲代码
  • SAP Cloud Platform创建Destination时Additional properties属性的维护

    Values for the WebIDEUsage property determine how the SAP Web IDE interprets the...

    Jerry Wang
  • SAP Cloud Connector里的virtual host和internal host有什么区别

    在创建系统映射时,我遇到了下面的两组字段:virtual host和internet host。

    Jerry Wang

扫码关注云+社区

领取腾讯云代金券