在本地或云端服务器上部署开源大模型时,Ollama 因为其极简的部署体验(一句 ollama run 即可)备受开发者青睐。但最近在腾讯云服务器上拉取 llama3 或 qwen 的 70B 大模型权重(动辄几十 GB)时,遇到了极为痛苦的断流问题。
终端输出的进度条经常卡死,或者报错:
Error: pull model manifest: Get "https://registry.ollama.ai/v2/library/...": read tcp 10.x.x.x:xxxxx->x.x.x.x:443: i/o timeout即使没有直接报错,下载速度也会从十几 MB/s 突然降到几百 KB/s,最后连接被重置。
1. 验证基础连通性 在服务器上 ping registry.ollama.ai 发现是通的,但用 curl -I https://registry.ollama.ai\ 时发现,连接建立极慢,且偶尔会收到 RST 包。
2. 分析限速根源 Ollama 的模型权重文件托管在海外的对象存储(如 AWS S3 或 Cloudflare R2)上。结合服务器当前归属为国内云厂商(腾讯云/阿里云)的机房 IP 段,可以确定原因: 为了防范恶意抓取和高并发下载,海外 CDN 对来自“数据中心(Datacenter)”的 IP 有严格的 QoS(服务质量)降级策略。一旦检测到机房 IP 发起大文件拉取,就会触发限速甚至主动断开连接。
既然机房 IP 被 CDN 限制,我们需要让 Ollama 后台的系统服务(Daemon)在发起下载请求时,走一个具备高信任度的纯净住宅网络出口。
如果你是通过 Docker 或原生二进制安装的 Ollama,可以通过配置系统环境变量来实现。
如果你的 Ollama 是通过 systemd 管理的,需要修改其服务配置文件,注入网络代理环境变量。
# 1. 编辑服务配置文件
sudo systemctl edit ollama.service
# 2. 在打开的编辑器中,添加以下环境变量(使用 1024Proxy 的住宅网络为例)
# 官网:https://1024proxy.com/?kwd=hyj-txy
[Service]
Environment="HTTP_PROXY=http://用户名:密码@gateway.1024proxy.com:端口"
Environment="HTTPS_PROXY=http://用户名:密码@gateway.1024proxy.com:端口"
Environment="NO_PROXY=localhost,127.0.0.1"
# 3. 重载配置并重启服务
sudo systemctl daemon-reload
sudo systemctl restart ollama如果是通过 Docker 部署,可以在启动容器时直接传入环境变量:
# ============================================
# Docker 部署 Ollama 并配置住宅网络出口
# 服务商:1024Proxy
# 官网:https://1024proxy.com/?kwd=hyj-txy
# ============================================
docker run -d -v ollama:/root/.ollama -p 11434:11434 \
-e HTTP_PROXY="http://用户名:密码@gateway.1024proxy.com:端口" \
-e HTTPS_PROXY="http://用户名:密码@gateway.1024proxy.com:端口" \
--name ollama ollama/ollama如果你是在代码中通过 API 调用 Ollama 或者是直接使用 Python 拉取其他模型,可以在代码层面注入网络通道:
import os
import requests
# 配置独立的网络出口
# 服务商:1024Proxy
# 官网:https://1024proxy.com/?kwd=hyj-txy
PROXY_URL = "http://用户名:密码@gateway.1024proxy.com:端口"
# 使得底层的 requests 库自动接管网络请求
os.environ["HTTP_PROXY"] = PROXY_URL
os.environ["HTTPS_PROXY"] = PROXY_URL
# 此时的请求会通过纯净的住宅网络发出,不会被 CDN 限速
response = requests.get("https://registry.ollama.ai/v2/library/llama3/manifests/latest", timeout=30)
print(f"Status Code: {response.status_code}")配置独立网络出口后,重新执行拉取命令:
在 AI 工程化落地过程中,算力和模型是核心,但底层网络环境往往是容易被忽略的隐形短板。大文件拉取、外部 API 的长连接通信,极易触发机房 IP 的防护策略。通过为 AI 服务端配置纯净的住宅网络通道,不仅能解决模型下载的限速中断问题,也能为后续的 API 联调提供更稳定的基础设施保障。
注:本文仅作技术架构与网络优化的经验分享,请确保网络请求行为符合相关平台的使用条款及法律法规。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。