Python Requests 库中的重试策略实践

程序浅谈后端 2024-09-13

网络请求由于各种原因可能会失败，例如网络波动、服务暂时不可达等。为了增强客户端的健壮性，实现请求的自动重试是一个常见的做法。在Python中，requests库是处理HTTP请求的标准工具之一。然而，requests本身并不直接提供重试机制，这需要借助urllib3库中的Retry类来实现。

本文将介绍如何在requests中实现请求的自动重试。

1. 重试的必要性

在分布式系统中，服务间的通信可能会由于各种原因失败。而自动重试机制能够提高系统的可靠性和容错能力。合理的重试策略可以减少暂时性故障导致的请求失败。

2. 实现重试的基本原理

在requests中实现重试通常需要以下步骤：

导入必要的模块。
创建一个HTTPAdapter实例。
在HTTPAdapter上配置Retry策略。
将配置好的HTTPAdapter挂载到Session对象上。
使用配置了重试的Session对象发送请求。

3. 使用`urllib3`实现重试

以下是一个具体的示例，展示如何为requests请求添加重试逻辑。

3.1. 导入模块

首先，需要导入requests库和urllib3的Retry类。python

 代码解读
复制代码
import requests
from requests.adapters import HTTPAdapter
from urllib3.util import Retry

3.2. 配置重试策略

使用Retry类来定义重试策略。这里可以指定重试次数、状态码集合、异常类型等。python

 代码解读
复制代码
retries = Retry(
    total=5,  # 总重试次数
    backoff_factor=1,  # 指数退避因子
    status_forcelist=[500, 502, 503, 504],  # 指定哪些状态码触发重试
    allowed_methods=frozenset(['GET', 'POST']),  # 允许重试的HTTP方法
)

3.3. 创建HTTPAdapter并配置重试

创建一个HTTPAdapter实例，并设置重试策略。python

 代码解读
复制代码
adapter = HTTPAdapter(max_retries=retries)

3.4. 挂载Adapter到Session

创建Session对象，并为HTTP和HTTPS请求挂载上面创建的adapter。rust

 代码解读
复制代码
pythonCopy code
session = requests.Session()
session.mount('http://', adapter)
session.mount('https://', adapter)

3.5. 发送请求

使用配置了重试策略的session对象发送请求。python

 代码解读
复制代码
url = "http://httpbin.org/status/500"
response = session.get(url)

4. 示例：请求一个可能返回错误的服务

以下是一个完整的示例，包括错误处理。python

 代码解读
复制代码
import requests
from requests.adapters import HTTPAdapter
from urllib3.util.retry import Retry

def request_with_retry(url, max_retries=5, backoff_factor=1, status_forcelist=None):
    if status_forcelist is None:
        status_forcelist = [500, 502, 503, 504]
        
    session = requests.Session()
    retries = Retry(total=max_retries,
                    backoff_factor=backoff_factor,
                    status_forcelist=status_forcelist,
                    method_whitelist=["GET", "POST"])
    adapter = HTTPAdapter(max_retries=retries)
    session.mount('http://', adapter)
    session.mount('https://', adapter)
    
    try:
        response = session.get(url)
        response.raise_for_status()  # 如果请求返回的是4XX, 5XX响应码，将引发HTTPError异常
        return response
    except requests.exceptions.HTTPError as e:
        print(f"HTTP Error: {e}")
    except requests.exceptions.ConnectionError as e:
        print(f"Connection Error: {e}")
    except requests.exceptions.Timeout as e:
        print(f"Timeout Error: {e}")
    except requests.exceptions.RequestException as e:
        print(f"Request Exception: {e}")

url = "http://httpbin.org/status/500"
response = request_with_retry(url)

if response:
    print(response.text)