当我们用 request 发起网络请求,时不时会遇到超时,当然不可能让这个请求一直阻塞,一般会设置一个超时时间,用 try except
抛出异常,避免程序中断。可如果一次超时就放弃该请求,误杀的概率会很大,我们日常访问某网站时,有打不开的情况都会多刷新几次。因此,我们也需要让 python 进行重试。而 retrying 模块应运而生
retrying 的安装很简单,用 pip 一键安装:
pip install retrying
为了表现 retrying 的重试功能,我们故意请求一个不规范的链接,如 www.baidu.com
,由于没有带 http 协议,request 会报错,从而触发 retrying 重试
代码如下:
import requests
from retrying import retry
headers = {
"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36"
}
@retry(stop_max_attempt_number=3) # 表示重试以下代码三次
def _parse_url(url):
print("-" * 30)
response = requests.get(url, headers=headers, timeout=3)
assert response.status_code == 200
return response.content.decode()
def parse_url(url):
try:
html_str = _parse_url(url)
except:
html_str = None
return html_str
if __name__ == "__main__":
url = 'www.baidu.com'
print(parse_url(url))
结果如下:
------------------------------
------------------------------
------------------------------
None
说明,retry
在遇到异常后会重试运行,直到给定的最大重试次数
题图