Python下载大文件时遇到了SSL握手失败，要怎么办？

原创

阿秋数据采集

发布于 2024-07-31 11:54:58

940

发布于 2024-07-31 11:54:58

在使用Python编程进行数据集下载时，遇到程序突然中断的情况并不罕见。这种情况通常由多种因素引起，如网络不稳定、API请求数量限制或SSL握手失败，尤其是SSL握手失败导致下载停滞都是属于我们工作中常见的了。此类问题，我们可以采取一些措施来解决，以此来推进我们的项目进度。

一、网络不稳定的问题

首先，我们来说说网络不稳定的问题。网络不稳定通常表现为连接中断、速度缓慢或无法建立连接，我们能很直观的看出来。这种情况下，可能是由于我们的网络环境复杂、互联网流量的变化、或者隔墙防火墙等问题导致。

处理网络不稳定的问题，我们可以试试：

重试机制：通过编程实现自动重试，可以有效应对短暂的网络不稳定。

import time
import requests
from requests.adapters import HTTPAdapter
from requests.packages.urllib3.util.retry import Retry
def download_with_retry(url, path, retries=5):
    session = requests.Session()
    retry = Retry(total=retries, backoff_factor=1, status_forcelist=[429, 500, 502, 503, 504])
    adapter = HTTPAdapter(max_retries=retry)
    session.mount('http://', adapter)
    session.mount('https://', adapter)
    
    try:
        response = session.get(url, stream=True)
        with open(path, 'wb') as f:
            for chunk in response.iter_content(1024):
                if chunk:
                    f.write(chunk)
    except requests.exceptions.RequestException as e:
        print(f"Failed to download file: {e}")

使用短效代理IP：引入优质的短效代理IP，可以提高网络请求的成功率和稳定性，这边的话，我目前在用的是青果网络，成功率够高，稳定性也不错。我知道这时候有人会跳出来说快代理、芝麻代理之类的同类型代理IP服务提供商了，不过我个人使用下来，青果网络的综合性价比会更高一点。当然这个会根据每个人的项目不一样，以及其他条件不同，得出不一样的结论。目前几乎市面上所有的代理IP服务提供商都有提供测试，大家可以自行了解测试，根据自己需要再做决定。

二、API 请求数量限制的问题

API请求数量限制通常由服务提供商（如Kaggle）设定，以防止过度使用其服务。这种限制会导致当请求过多时，会碰到“手滑”被暂时屏蔽的问题。

针对API请求数量限制的这个问题，我们可以尝试：

请求速率控制：通过编程方式控制请求速率，避免在短时间内发送过多请求。

import time
def request_with_rate_limiting(url, interval=2):
    response = requests.get(url)
    time.sleep(interval)  # Wait for the interval period
    return response

轮换代理IP：使用多个代理IP进行请求轮换，可以有效分散单一IP的请求负载，避免触发数量限制。

以下是部分代码，大家可以参考一下：

import os
import time
import requests
from requests.adapters import HTTPAdapter
from requests.packages.urllib3.util.retry import Retry
PROXY_POOL = [
    "https://www.qg.net:8080",
    # 青果网络的代理IP，更多代理IP请登录青果网络获取
]
def get_random_proxy():
    return {"http": PROXY_POOL[time.time() % len(PROXY_POOL)], "https": PROXY_POOL[time.time() % len(PROXY_POOL)]}
def download_file_with_proxy(url, path, proxies, retries=5):
    session = requests.Session()
    retry = Retry(total=retries, backoff_factor=1, status_forcelist=[429, 500, 502, 503, 504])
    adapter = HTTPAdapter(max_retries=retry)
    session.mount('http://', adapter)
    session.mount('https://', adapter)
    headers = {}
    if os.path.exists(path):
        existing_file_size = os.path.getsize(path)
        headers['Range'] = f'bytes={existing_file_size}-'
    else:
        existing_file_size = 0
    
    response = session.get(url, headers=headers, proxies=get_random_proxy(), stream=True)
    total_size = int(response.headers.get('content-length', 0)) + existing_file_size
        
    with open(path, 'ab') as file:  # Open in append mode
        for chunk in response.iter_content(chunk_size=1024):
            if chunk:
                file.write(chunk)
# 使用青果网络代理IP进行下载
download_file_with_proxy('https://kaggle.com/api/v1/datasets/download_url', 'largefile.zip', PROXY_POOL)

希望这些方法能在你的项目中有所助益，帮助你解决我们在使用Python编程进行数据集下载时，遇到程序突然中断的情况。如果还有后续的疑问，也可以在评论区给我留言，如果我看到了会及时回复。

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。

tcp/ip