帮你快速理解、总结文档立即下载

降级策略

最近更新时间:2026-07-23 17:07:33

我的收藏

操作场景

降级策略用于在后端模型服务出现异常时,自动降级服务质量,保障系统可用性。通过配置降级策略,您可以:
当服务异常时自动触发降级
查看降级触发记录。
降级策略是保障系统稳定性的重要手段,与跨服务 Fallback 配合使用可实现完整的容灾方案。
本文档指导您如何在 AI 网关中配置和管理降级策略。

前置条件

已创建 AI 网关实例
已创建模型 API
已创建模型服务

操作步骤

降级策略在创建或编辑模型 API 时配置,详情请参见 模型 API

步骤1:进入 API 详情页

1. 登录 微服务平台控制台,左侧导航栏选择 AI 网关进入实例列表。
2. 在实例列表页面,单击需要配置的网关实例的"ID",进入该网关实例的基本信息页面。
3. 在左侧导航栏单击模型管理,单击模型 API 页签。
4. 单击目标模型 API 名称(已创建的 API),进入其详情页。
5. 在 API 详情页中找到降级策略区域,单击右上角配置降级策略按钮,进入降级策略配置对话框。

步骤2:配置降级触发条件

在配置对话框中,开启降级开关,配置以下参数:
参数
是否必填
说明
示例
触发条件
选择降级触发条件,支持多选:
服务不可用:主模型服务返回 500 / 502 / 503 等错误时触发
连接超时:请求超过超时时间无响应时触发
速率限制(HTTP 429):主模型服务触发限流时触发
服务不可用
速率限制

步骤3:配置备用模型服务

1. 依次添加备用模型服务(按顺序排列)。
2. 降级触发后,网关将按备用模型服务的顺序依次尝试调用。
3. 配置完成后,单击确定保存。

查看降级状态

在 API 详情页的降级记录区域,可查看历史降级记录:
降级触发时间
降级原因(具体的触发条件和阈值)
主服务
最终使用服务
降级结果