帮你快速理解、总结文档立即下载
文档中心>模型路由>操作指南>配置模型调度管理

配置模型调度管理

最近更新时间:2026-09-15 15:34:31
本文档已由 AI 辅助审校
我的收藏
本文介绍如何关联模型,以及对模型调度策略进行管理。配置完成后,用户请求经由模型路由统一接入,平台完成计费、限流与日志记录后,根据您关联的模型,以及所配置的路由策略进行匹配与决策,最终分发至对应的后端模型中。

简介

模型路由调度管理支持以下路由策略:
意图路由:按输入意图匹配模型。
模型间路由:按路由策略选择模型。
模型内路由:按路由策略选择供应商(或 API 密钥)。
粘性路由:多轮会话场景支持粘性路由。
Fallback:支持模型内和模型间两层 Fallback。

前提条件

建议提前阅读 使用约束支持模型 了解相关信息。
已创建模型路由实例,详细操作指导请参见 创建模型路由实例
已创建 BYOK 实例,详细操作指导请参见 创建 BYOK 实例
已创建模型路由访问密钥(API Key),详细操作指导请参见 创建模型路由访问密钥

操作步骤

步骤1:关联模型

1. 登录 模型路由 控制台,在实例管理页面,单击目标实例 ID,进入目标实例的基本信息页面。
2. 切换至模型调度管理页签,在路由策略示意图中的关联模型节点,单击关联。或者在页面关联模型模块单击批量关联


3. 确认模型名称、启用模态等信息,选择要关联的模型,并确认信息无误后单击下一步:调度权重配置

4. 为所选模型配置优先级与权重。网关将按 P0 → P1 → P2 顺序选择模型,高优先级不可用时自动降级。且同一优先级按权重排序选择模型,并按同一优先级下的权重占比,计算出预计承接流量。确认信息无误后单击确定

5. 关联完成后,可在列表查看已关联模型的模型名称、来源、启用模态、模型连接状态、BYOK 数量、优先级与权重等信息,并可以执行重定向模型、解关联调度配置
6. 已关联模型支持配置重定向。当用户请求中传入已关联的模型 ID 时,可通过重定向将该模型的实际调用模型指定为其他模型或意图路由规则;当 model=auto 或未传模型 ID 时,系统默认按照 L1 模型路由策略指定模型,您也可以通过重定向指定模型或意图路由规则。
7. 如需配置重定向,在目标模型所在行的重定向模型列单击去配置,选择重定向类型以及目标模型后完成配置。

重定向目标支持以下两种类型:
重定向类型
说明
重定向模型
当请求命中当前模型时,系统不再直接调用当前模型,而是调用重定向后指定的模型。
重定向意图路由规则
当请求命中当前模型时,系统不再直接调用当前模型,而是进入指定的意图路由规则,并由意图分类对应的处理模型继续完成请求分发。
8. 如需解除模型关联,在目标模型所在行单击解关联;如需批量解除关联,可单击批量解关联。解除关联后,该模型将从当前实例移除,不再作为模型路由策略的可选模型。
9. 如需修改优先级权重配置,在目标模型所在行单击调度配置,重新为关联模型配置调度优先级与权重。

步骤2:配置意图路由(推荐)

说明:
若不配置意图路由规则,则跳过该策略。
1. 模型调度管理页签,路由策略示意图中的意图路由节点,单击新建。或者在页面意图路由模块,单击新建规则


2. 新建意图路由规则弹窗,配置业务模板意图路由规则名称意图路由配置描述信息。一条意图路由规则可将请求分发到多个意图分类,每个意图分类可配置各自的处理模型。系统按通用任务分类自动判定用户请求所属的意图分类,无需配置判定规则。

字段
说明
业务模板
用于快速生成不同业务场景下的意图路由配置。支持日常助手、内容创作、开发助手、知识问答、数据分析、智能体/Agent 等模板,并支持自定义场景。选择业务模板后,系统会显示对应的意图分类和匹配说明。
意图路由规则名称
意图路由规则名称,可按需输入。
意图路由配置
用于配置不同意图分类对应的处理模型。系统会根据用户请求内容自动匹配意图分类,并调用该意图分类下配置的处理模型。
意图分类
表示用户请求所属的任务类型,系统会根据用户消息自动判断意图分类。
处理模型
命中该意图分类后实际调用的模型。
每个意图分类最多可选择 5 个处理模型;当配置多个处理模型时,系统将依据模型间路由策略进行调度。
默认
默认兜底分类。当意图路由无法将请求匹配到其他意图分类时,使用默认分类下配置的处理模型。
建议为默认分类配置可用模型,避免请求无法处理。
添加通道
单击添加通道,可新增一条意图分类配置,并为该意图分类选择处理模型。
删除
删除当前行的意图分类配置。
描述
可按需输入相关描述,帮助您识别和定位不同的意图路由规则。
3. 单击确定完成配置。
配置完成后,可执行如下操作:
单击详情:查看意图路由规则的配置信息。
单击编辑:对意图路由规则进行配置。
单击删除:删除指定意图路由规则。
单击复制:快速复制当前意图路由的配置。

步骤3:配置模型间路由策略

路由策略示意图中的模型间路由节点,单击切换来配置模型间路由策略。当模型关联后,系统将根据所选路由算法,动态选择所关联模型下的不同模型。

策略
说明
简单随机路由
在可用模型中随机选择。
最低系数路由
优先分发到积分较低的模型。

步骤4:配置模型内路由策略

路由策略示意图中的模型内路由节点,单击切换来配置模型内路由策略。当模型确定后,系统将根据所选路由算法,动态选择该模型下的不同服务供应商(或 API 密钥)。

策略
说明
简单随机路由
在可用供应商中随机选择。
最低繁忙路由
将请求分配给当前最空闲的供应商。
最低延迟路由
自动选择当前延迟最低的供应商。
用量均衡路由
按用量均衡分配请求到各供应商。
最低系数路由
优先分发到积分较低的供应商。

步骤5:配置粘性路由策略

路由策略示意图中的粘性路由节点,可配置粘性路由策略。粘性路由默认开启,可选择关闭。开启后可在多轮会话场景支持粘性路由,有效提升上游缓存命中率;会话空闲超过 30 分钟后,才会重新路由模型。



步骤6:配置 Fallback 策略

当主模型服务失败时,系统将自动切换至 Fallback 中的模型,保障业务连续性。系统采用两层故障退避机制:
第一层(模型内退避):优先在同一模型下的不同服务供应商(或 API 密钥)之间进行切换尝试。
第二层(模型间退避):若当前模型无可用供应商,则根据您预设的模型优先级,自动切换到备选模型继续提供服务。
1. 在路由策略示意图中 Fallback 节点,单击设置来配置 Fallback 策略。或点击 Fallback 策略区域的编辑按钮和底栏未配置 Fallback 策略时的去设置按钮。


2. 编辑 Fallback 策略弹窗中,设置模型内递进次数,选择模型间 Fallback 模型,并单击确定,完成配置。


后续操作

创建完成后,您可以在实例管理页面切换至聊天测试页签,对配置进行验证, 详细操作请参见 配置聊天测试
创建完成后,您可在实例管理页面切换至用量详情页签,关注 Token 消耗和模型资源使用情况,详细操作请参见 查看用量详情