首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >OmniRoute 本地模型代理快速入门指南

OmniRoute 本地模型代理快速入门指南

作者头像
zeekling
发布于 2026-09-28 09:06:28
发布于 2026-09-28 09:06:28
310
举报

📖 版本:v3.8.51 | 更新时间:2026-09-27 🎯 目标:5 分钟内搭建本地免费 AI 网关


1️⃣ 安装运行

方式 A:npm(推荐)

代码语言:javascript
复制
# 全局安装
npm install -g omniroute

# 启动服务
omniroute

方式 B:Docker

代码语言:javascript
复制
docker run -d --name omniroute \
  -p 127.0.0.1:20128:20128 \
  -v omniroute-data:/app/data \
  diegosouzapw/omniroute:latest

访问地址


2️⃣ 连接免费提供商(零配置)

首次启动后,在 Dashboard 中连接免费提供商:

  1. 访问 http://localhost:20128
  2. 点击左侧 Providers 菜单
  3. 点击 Connect 按钮选择免费提供商:
    • OpenCode Free:无需认证
    • Z.AI / Zhipu (glm-cn):GLM-4-Flash / 4.5-Flash / 4.7-Flash 永久免费 + 20M 注册奖励
    • NVIDIA NIM:GLM, MiniMax ~40 RPM 免费
    • Mistral:~1B tokens/月

3️⃣ 配置编码工具

在 Claude Code、Codex、Cursor、OpenCode 等工具中配置 OmniRoute:

配置项

值

Base URL

http://localhost:20128/v1

API Key

从 Dashboard → Endpoints 复制

Model

auto(智能路由)或指定提供商模型

示例(Claude Code)

代码语言:javascript
复制
# 在 Claude Code 配置文件中设置
export ANTHROPIC_BASE_URL="http://localhost:20128/v1"
export ANTHROPIC_API_KEY="YOUR_OMNIROUTE_API_KEY"

4️⃣ 验证安装

代码语言:javascript
复制
curl http://localhost:20128/v1/models \
  -H "Authorization: Bearer YOUR_OMNIROUTE_API_KEY"

如果返回模型列表,说明配置成功 ✅


5️⃣ 多手机号注册免费 API(简略说明)

Z.AI (智谱)

  1. 访问 Z.AI 官网注册账号
  2. 在控制台获取 API Key
  3. 在 OmniRoute Dashboard → Providers → 添加自定义提供商:
    • Provider Name: glm-cn
    • API Key: YOUR_ZHIPU_API_KEY
    • Base URL: https://open.bigmodel.cn/api/paas/v4

NVIDIA NIM

  1. 注册 NVIDIA 开发者账号
  2. 在 NVIDIA NIM 控制台申请免费层
  3. 获取 API Key 并在 OmniRoute 中配置

注意事项


6️⃣ Combos 多提供商组合

OmniRoute 支持 19 种路由策略,自动实现负载均衡和故障回退:

  • auto/coding:智能编码路由(默认)
  • auto/fast:优先快速响应
  • auto/cheap:优先低成本模型
  • auto/smart:综合智能路由
  • fusion:并行调用多个模型,通过 judge 综合答案
  • pipeline:模型链式调用

配置路径:Dashboard → Combos → 创建新 Combo

示例:新建 aotoFree 组合(智能路由)

  1. 访问 Dashboard → Combos → 创建新 Combo
  2. 组合名称填写 aotoFree
  3. 路由策略选择 智能路由(auto)
  4. 添加所需提供商后保存

7️⃣ 压缩功能(可选)

OmniRoute 内置 RTK + Caveman 压缩引擎,可节省 15–95% tokens:

  1. 访问 Dashboard → Context & Cache
  2. 启用 Caveman 或 RTK 压缩
  3. 设置压缩组合(如 rtk → caveman)

8️⃣ 常用命令

代码语言:javascript
复制
# 查看提供商列表
omniroute providers

# 查看组合配置
omniroute combos

# 诊断健康状态
omniroute doctor

# 重置配置
omniroute setup

📊 免费层级概览

提供商

每月免费额度

备注

Mistral

~1B tokens

首选通用模型

Nara

~210M tokens

多模态支持

LLM7

~150M tokens

代码模型

Z.AI (glm-cn)

永久免费 + 20M

GLM-4/4.5/4.7 Flash

NVIDIA NIM

~40 RPM

GLM, MiniMax

总计:~1.37B 每月免费 tokens(不含注册奖励)


🎉 完成

现在您已拥有本地免费 AI 网关,支持 359 个提供商、1200+ 模型,自动负载均衡和故障回退。

下一步:

  • 查看 Dashboard → Usage 监控使用情况
  • 探索 Combos → 配置多提供商组合
  • 启用压缩 → 节省 tokens 成本

文档来源:

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2026-09-27/,如有侵权请联系 cloudcommunity@tencent.com 删除
目录
  • 1️⃣ 安装运行
    • 方式 A:npm(推荐)
    • 方式 B:Docker
    • 访问地址
  • 2️⃣ 连接免费提供商(零配置)
  • 3️⃣ 配置编码工具
    • 示例(Claude Code)
  • 4️⃣ 验证安装
  • 5️⃣ 多手机号注册免费 API(简略说明)
    • Z.AI (智谱)
    • NVIDIA NIM
    • 注意事项
  • 6️⃣ Combos 多提供商组合
    • 示例:新建 aotoFree 组合(智能路由)
  • 7️⃣ 压缩功能(可选)
  • 8️⃣ 常用命令
  • 📊 免费层级概览
  • 🎉 完成
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档