Python retry模块介绍

在我初学网络爬虫的时候，针对于较小的项目，不必使用Scrapy，直接使用requests为核心来获取目标网站数据，遇到最头疼的问题之一就是requests请求异常时的处理，好在有retry这个模块，省了不少力气。

retry模块简而言之就是在遇到异常的时候，可以帮我们自动重试。

安装：

pip install retry

API：

自己翻译 (英语很烂，直译的，见谅。)：

各种重试逻辑可以通过参数的组合来实现。

使用 retry装饰器

当retry装饰器无参数时：

无参数时遇到异常会一直重试，直到成功为止。如下图：

当retry装饰器有参数时：

指定单个异常,只对TimeoutError这个异常做重试，在5次尝试后引发错误，每次尝试之间间隔2秒。如下图：

对多个异常进行重试：

这里需要把多个异常作为元组传入，转入异常的数量不限。

@retry((ValueError,TimeoutError),delay=1,backoff=2,max_delay=8)

对 ValueError TimeoutError 这两个异常做重试请求，重试间隔 1秒，2秒 ，4秒，8秒，8秒，8秒 ........

(delay=1,backoff=2,max_delay=8)三个参数的含义：

第一次失败延时1秒后重试,第二次失败时,以2倍延迟时间增长以此类推,增长到8秒不再继续增长，最大重试延迟为8秒。如下图：

可根据自己需求，对不同的异常做重试或者其他操作，可见retry模块使用非常灵活。

retry模块不仅可用于requests请求失败重试，还可以在做某些操作导致失败的情况下，需要进行重试操作的时候使用。想快捷优雅的实现功能，又不关心重试逻辑，则可以学习该模块。