PythonRecipe--Python装饰器"retry"

本文来自于ActiveCode的文章Retry decorator in Python.

本文属于专题Python Recipe.

这是一个Python装饰器，可以在遇到某些运行失败的时候，实现了一个“retry”(重新进行某一个步骤)的功能。一般使用外部资源的时候常常要求这个特性，比如HTTP请求。

import itertools
import functors


def retry(delays=(0, 1, 5, 30, 180, 600, 3600,
                exceptions=(Exception, ),
                report=lambda *args: None):
    def wrapper(function):
        @functools.wrap
        def wrapped(*args, **kwargs):
            problems = []
            for delay in itertools.chain(delays, [None]):
                try:
                    return function(*args, **kwargs)
                except exceptions as problem:
                    problems.append(problem)
                    if delay is None:
                        report("returnable failed definitely:", problem)
                        raise
                    else:
                        report('returnable failed:', problem,
                                  '--delayed for %ds' % delay)
                        time.sleep(delay)
        return wrapped
    return wrapper

例子

考虑有一块代码用来对一个服务器发送HTTP请求，期待有一个有意义的回复。当然，如果牵涉到了网络，事情就并不完全在自己的掌握之中了。你的请求可能会超时，可能会发生网络传输问题。一般的解决方式是重新发送HTTP请求，直到成功(或者达到一定的失败次数)。因为服务器可能会存在自己的问题(比如服务器出现BUG，若干小时后被工程师修复），可以在每次retry之间加入一些渐进式增长的延时。

HTTP请求的代码假设是下面这样:

import requests


def send_data(data):
    response = requests.post(URL, data=data)
    return response.content

requests.post()可能会失败，如果出现失败的情况，应该重新尝试。现在可以试试我们之前定义的装饰器了：

import requests


def send_data(data):
 
    @retry()
    def send_post():
        return requests.post(URL, data=data)

    response = send_post()
    return response.content

上面例子的装饰器使用默认的参数，你可以传入新的参数：

• delays

  @retry(delays=itertools.cycle([20]))

  delays的值必须是一个可迭代对象(iterable)，它代表每两次retry之间的延时。如果这个参数被迭代完毕，将不会再进行retry。上面的例子是一个无尽循环，每次retry之间包含20秒延时。默认的值是一个元组(0, 1, 5, 30, 180, 600, 3600)，它意味着第一次retry会立即执行(0秒以后)，下一次retry是1秒以后，再下一次是5秒以后，然后是30秒以后，10分钟以后，1小时以后；如果这些retry都失败了，不会在继续，并且会抛出最后的一个异常。

• exception

  @retry(exceptions=(requests.exceptions.Timeout, requests.exceptions.ConnectionError)

  exceptions参数可以是一个或多个异常类。只有出现这些异常的时候会重复执行retry；其它的异常会照常抛出。默认的参数为(Exception,)，意味着所有的异常都会被retry。

• report

  @retry(report=print)

  参数report是一个可调用对象(callable)，可以用它来输出一些日志信息。例如可以传入print()或者logger的方法。report的默认值是一个什么都不做的匿名函数。