urllib.parse包学习
1、前言
我是在进行全站爬取某个网站时用到的这个包，它的主要功能就是分解URL，在对URL处理时是一个非常有用的包
2、功能介绍
This module defines a standard interface to break Uniform Resource Locator (URL) strings up in components (addressing scheme, network location, path etc.), to combine the components back into a URL string, and to convert a “relative URL” to an absolute URL given a “base URL.”
这组模块（即urllib.parse包）定义了一个标准接口，用于将URL分解成一个一个个组件，将组件重新组建成一个URL字符串。也就是利用基本的URL将相对地址（URL）转化成绝对地址。
3、函数介绍
3.1、URL Parsing
The URL parsing functions focus on splitting a URL string into its components, or on combining URL components into a URL string.
3.1.1、urllib.parse.urlparse(urlstring, scheme=”, allow_fragments=True)
urlparse()会将URL分解成六个部分，看例子
>>> from urllib.parse import urlparse
>>> o = urlparse('http://www.cwi.nl:80/%7Eguido/Python.html')
>>> o
ParseResult(scheme='http', netloc='www.cwi.nl:80', path='/%7Eguido/Python.html',
params='', query='', fragment='')
>>> o.scheme
'http'
>>> o.port
80
>>> o.geturl()
'http://www.cwi.nl:80/%7Eguido/Python.html'这六个部分的解释
Attribute | Index | Value | Value if not present |
|---|---|---|---|
scheme | 0 | URL scheme specifier（也就是http/https） | scheme parameter |
netloc | 1 | Network location part（域名） | empty string |
path | 2 | Hierarchical path（分层路径） | empty string |
params | 3 | Parameters for last path element（最后一个路径元素的参数） | empty string |
query | 4 | Query component（查询组件） | empty string |
fragment | 5 | Fragment identifier（片段识别） | empty string |
函数方法说明 urlstring ： URL路径 scheme ： 协议类型，http或者https allow_fragments： 默认是True，如果设置为False，fragment identifiers将不会被识别，就是说netloc后面的都会当成URL中的路径处理。
If the allow_fragments argument is false, fragment identifiers are not recognized. Instead, they are parsed as part of the path, parameters or query component, and fragment is set to the empty string in the return value.
更多关于urllib.parse的内容可前往官网
腾讯云开发者
