我们首先了解一下 Urllib 库,它是 Python 内置的 HTTP 请求库,也就是说我们不需要额外安装即可使用,它包含四个模块:
request:它是最基本的HTTP请求模块,可以用来模拟发送请求。只需要给库方法传入URL以及额外的参数,就可以模拟实现请求过程了。 error:异常处理模块,如果出现请求错误,我们可以捕获这些异常,然后进行修正。 parse:一个工具模块,提供了许多URL处理方法,比如拆分、解析、合并等。 robotparser:主要是用来识别网站的robots.txt文件,判断哪些网站可以爬哪些网站不可以爬,其实用得比较少。
怎样扒网页呢?
from urllib.request import urlopen
response = urlopen("http://www.baidu.com")
print(response.read().decode())
request模块主要负责构造和发起网络请求,并在其中添加Headers,Proxy等。 利用它可以模拟浏览器的请求发起过程。
其实上面的urlopen参数可以传入一个request请求,它其实就是一个Request类的实例,构造时需要传入Url,Data等等的内容。比如上面的两行代码,我们可以这么改写
from urllib.request import urlopen
from urllib.request import Request
request = Request("http://www.baidu.com")
response = urlopen(requst)
print (response.read().decode())
运行结果是完全一样的,只不过中间多了一个request对象,推荐大家这么写,因为在构建请求时还需要加入好多内容,通过构建一个request,服务器响应请求得到应答,这样显得逻辑上清晰明确
通过urllib发送的请求会有一个默认的Headers: “User-Agent”:“Python-urllib/3.6”,指明请求是由urllib发送的。所以遇到一些验证User-Agent的网站时,需要我们自定义Headers把自己伪装起来。
运行爬虫的时候,经常会出现被封IP的情况,这时我们就需要使用ip代理来处理,urllib的IP代理的设置如下
在开发爬虫过程中,对cookie的处理非常重要,urllib的cookie的处理如下
大部分被传输到浏览器的html,images,js,css, … 都是通过GET方法发出请求的。它是获取数据的主要方法
例如:www.baidu.com 搜索
Get请求的参数都是在Url中体现的,如果有中文,需要转码,这时我们可使用
在发送请求的时候,往往会需要传递很多的参数,如果用字符串方法去拼接会比较麻烦,parse.urlencode()方法就是用来拼接url参数的。
运行结果:
也可以通过parse.parse_qs()方法将它转回字典
url中只能包含ascii字符,在实际操作过程中,get请求通过url传递的参数中会有大量的特殊字符,例如汉字,那么就需要进行url编码。
例如https://www.baidu.com/s?wd=%E6%AF%9B%E5%88%A9
from urllib import parse
url = 'https://www.baidu.com/s?wd={}'
save_url = url.format(parse.quote('毛利'))
print(save_url)
url = parse.unquote(save_url)
print(url)
https://www.baidu.com/s?wd=%E6%AF%9B%E5%88%A9
https://www.baidu.com/s?wd=毛利
我们需要将编码进行url编码
我们说了Request请求对象的里有data参数,它就是用在POST里的,我们要传送的数据就是这个参数data,data是一个字典,里面要匹配键值对
发送请求/响应header头的含义:
名称 | 含义 |
---|---|
Accept | 客户端支持的数据类型 |
Accept-Charset | 客户端采用的编码 |
Accept-Encoding | 客户机支持的数据压缩格式 |
Accept-Language | 客户机的语言环境 |
Host | 想访问的主机名 |
If-Modified-Since | 资源的缓存时间 |
Referer | 它是从哪个资源来访问服务器的。(一般用于防盗链) |
User-Agent | 客户机的软件环境 |
Cookie | 可以向服务器带数据 |
Refresh | 告诉浏览器隔多长时间刷新一次 |
Content-Type | 回送数据的类型 |
Content-Language | 告诉服务器的语言环境 |
Server | 告诉浏览器服务器的类型 |
Content-Encoding | 告诉浏览器数据采用的压缩格式 |
Content-Length | 告诉浏览器回送数据的长度 |
响应状态码
响应状态代码有三位数字组成,第一个数字定义了响应的类别,且有五种可能取值。 常见状态码:
号码 | 含义 |
---|---|
100~199 | 表示服务器成功接收部分请求,要求客户端继续提交其余请求才能完成整个处理过程 |
200~299 | 表示服务器成功接收请求并已完成整个处理过程。常用200(OK 请求成功) |
300~399 | 为完成请求,客户需进一步细化请求。例如:请求的资源已经移动一个新地址、常用302(所请求的页面已经临时转移至新的url)、307和304(使用缓存资源) |
400~499 | 客户端的请求有错误,常用404(服务器无法找到被请求的页面)、403(服务器拒绝访问,权限不够) |
500~599 | 服务器端出现错误,常用500(请求未完成。服务器遇到不可预知的情况) |
有些网页内容使用AJAX加载,而AJAX一般返回的是JSON,直接对AJAX地址进行post或get,就返回JSON数据了
现在随处可见 https 开头的网站,urllib可以为 HTTPS 请求验证SSL证书,就像web浏览器一样,如果网站的SSL证书是经过CA认证的,则能够正常访问,如:https://www.baidu.com/
# 忽略SSL安全认证
context = ssl._create_unverified_context()
# 添加到context参数里
response = urllib.request.urlopen(request, context = context)
parse.urlencode()
和parse.quote()
即可