Python爬虫下载函数

爬虫:

从互联网取数据

res = urlopen(url, data=None, timeout=, cafile=None, capath=None, cadefault=False, context=None):HTTP,FTP,HTTPS的url, ca

res.geturl 访问的路由地址

res.read html页面

res.getcode 返回状态码

#200 OK

#4xx 没必要重新获取

#5xx 可以尝试重新获取

res.info 访问web服务器的请求头

robots.txt:网站用来标识爬虫访问网页的权利，只做声明，不强制

User-Agent:用户代理

#用来标识访问者的信息

proxy:urlparse

http模块的reqeusts

>>> urlparse.urlparse('https://www.baidu.com/aaaabbbb/?id=2')

ParseResult(scheme='https', netloc='www.baidu.com', path='/aaaabbbb/', params='', query='id=2', fragment='')