Python爬虫教程34:如何在访问网址失败后,间隔(2秒、3秒)进行重试

import requestsimport timedef fetch_url_with_retry(url, max_retries=2):    """    尝试访问网址，失败后自动重试。    :param url: 目标网址    :param max_retries: 最大重试次数（此处设为2，即最多尝试3次）    """    retry_delays = [2, 3]  # 第一次重试前等待2秒，第二次重试前等待3秒    for attempt in range(max_retries + 1):  # attempt: 0, 1, 2        try:            response = requests.get(url, timeout=5)            # 如果状态码表示成功（2xx），则认为访问成功            response.raise_for_status()  # 非2xx会抛出HTTPError异常            print(f"访问成功！状态码：{response.status_code}")            return response        except requests.exceptions.RequestException as e:            print(f"第{attempt + 1}次访问失败：{e}")            if attempt < max_retries:  # 如果还有重试机会                wait_time = retry_delays[attempt]                print(f"等待 {wait_time} 秒后重试...")                time.sleep(wait_time)            else:                print("已达最大重试次数，放弃访问。")                raise  # 重新抛出最后一次异常# 示例用法if __name__ == "__main__":    url = "https://httpbin.org/status/500"  # 模拟返回500错误    # url = "https://httpbin.org/get"       # 正常网址    try:        result = fetch_url_with_retry(url)        # 成功后可进一步处理 result.content 等    except Exception:        print("最终未能获取到有效响应。")

def get_stock_bwdd_jsdata(self, symbol, date, amount_threshold=200):    url = "你的网址...."    params = {        "symbol": symbol,        "num": 10000,        "page": 1,        "sort": "ticktime",        "asc": 0,        "volume": 0,        "amount": amount_threshold * 10000,        "type": 0,        "day": date    }    headers = {        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36",        "Referer": f"https://vip.stock.finance.sina.com.cn/quotes_service/view/cn_bill.php?symbol={symbol}",    }    # 重试延时策略：第一次不等待，之后分别等待2秒、3秒    delays = [0, 2, 3]   # 共3次尝试机会    for attempt, wait_sec in enumerate(delays):        if attempt > 0:   # 非首次请求，先等待对应秒数            time.sleep(wait_sec)            print(f"【{symbol}】第{attempt}次重试，等待 {wait_sec} 秒后重新请求")        try:            response = requests.get(url, params=params, headers=headers, timeout=15)            response.raise_for_status()            # 请求成功，记录日志并返回数据            self.log_api_request(symbol, date, amount_threshold, "请求成功", is_error=False)            return response.json()        except Exception as e:            # 记录本次失败日志            error_msg = f"请求失败 (尝试 {attempt+1}/{len(delays)}): {e}"            self.log_api_request(symbol, date, amount_threshold, error_msg, is_error=True)            # 如果是最后一次尝试，则抛出异常            if attempt == len(delays) - 1:                raise Exception(f"股票 {symbol} 数据请求失败，已重试 {len(delays)-1} 次: {e}")            # 否则继续下一次循环