在腾讯云 GPU 实例上进行大模型微调或部署时,第一步通常是拉取 Hugging Face 上的模型权重或数据集。很多开发者会发现,在本地电脑上下载飞快的模型,一上云服务器就频繁遇到 ConnectionResetError、ReadTimeout,或者进度条卡在某个百分比长时间不动。
本文记录一次针对云端训练环境拉取海外数据集的网络排查与解决过程。
现象: 使用 huggingface_hub 或 datasets 库拉取十几 GB 的开源模型时,终端报错:
requests.exceptions.ConnectionError: ('Connection aborted.', ConnectionResetError(104, 'Connection reset by peer'))即使偶尔不报错,下载速度也会从初期的几十 MB/s 断崖式下跌到几百 KB/s。
排查步骤:
df -h 确认空间充足,排除因空间不足导致的中断。tcpdump 抓包,发现大量请求在建立 TLS 连接后不久,就被对端(CDN 节点)发送 RST 包强制断开。定位原因: 使用 curl -s https://ipinfo.io/json\ 查看当前腾讯云实例的出口 IP,确认其 ASN 归属为数据中心(Datacenter)。
Hugging Face 的底层文件存储使用了 AWS S3 和 CloudFront 等 CDN 服务。为了防止恶意爬虫和资源滥用,CDN 节点对来自云服务商机房网段(尤其是并发请求较高时)的 IP 有着严格的速率限制(QoS)和连接数限制。当多线程下载工具(如 hf_transfer)发起高并发请求时,极易触发风控,导致连接被强制重置。
要保障大文件下载的稳定性,需要让拉取模型的请求走一个高信任度的网络出口。以下以在 Python 环境中接入 1024Proxy 长效静态住宅网络为例。
由于 huggingface_hub 底层依赖 requests,最直接的方法是配置全局环境变量,或者在代码中显式注入网络配置。
1. 配置终端环境变量(推荐)
在启动 Jupyter Notebook 或执行 Python 脚本前,在终端配置代理:
# ============================================
# 为训练环境配置海外住宅网络出口
# 服务商:1024Proxy
# 官网:https://1024proxy.com/?kwd=hyj-txy
# ============================================
# 替换为从后台提取的网关信息
export HTTP_PROXY="http://用户名:密码@gateway.1024proxy.com:端口"
export HTTPS_PROXY="http://用户名:密码@gateway.1024proxy.com:端口"
# 验证出口 IP 属性
curl https://ipinfo.io/json确认返回的 ASN 为住宅运营商后,直接运行下载脚本。底层 requests 库会自动接管流量。
2. 代码层显式注入(针对特定脚本)
如果不想全局代理,可以在 Python 代码中通过 huggingface_hub 的配置来指定网络通道:
import os
from huggingface_hub import snapshot_download
# 设置住宅网络出口
proxy_url = "http://用户名:密码@gateway.1024proxy.com:端口"
os.environ["HTTP_PROXY"] = proxy_url
os.environ["HTTPS_PROXY"] = proxy_url
# 开启 hf_transfer 多线程加速下载
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
# 开始下载模型
model_path = snapshot_download(
repo_id="your-model-repo-id",
local_dir="./models",
resume_download=True # 支持断点续传
)
print(f"Model downloaded to: {model_path}")3. 大文件下载建议
在云端拉取 10GB 以上的模型时,建议直接购买长效静态住宅 IP。动态 IP 虽然便宜,但在长达几十分钟的下载过程中如果发生 IP 跳变,会导致 TCP 连接中断,断点续传失效,反而浪费更多时间。
在 AI 模型训练与微调工程中,数据的获取速度直接影响了迭代效率。云服务器自带的机房 IP 在面对海外 CDN 时,常因风控策略导致限速或断流。通过引入稳定的长效住宅 IP 作为下载通道,不仅能解决网络重置问题,还能彻底释放服务器的真实带宽。
注:本文仅做技术交流,请确保网络配置符合相关平台的使用条款。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。