降级策略

最近更新时间:2026-05-13 17:26:22

我的收藏

操作场景

降级策略用于在后端模型服务出现异常时,自动降级服务质量,保障系统可用性。通过配置降级策略,您可以:
当服务异常时自动触发降级
查看降级触发记录。
降级策略是保障系统稳定性的重要手段,与跨服务 Fallback 配合使用可实现完整的容灾方案。
本文档指导您如何在 AI 网关中配置和管理降级策略。

前置条件

已创建 AI 网关实例
已创建模型 API
已创建模型服务

操作步骤

降级策略在创建或编辑模型 API 时配置,详情请参见 模型 API

步骤1:进入 API 详情页

在创建或编辑 API 时,找到 降级策略 区域。开启 全局跨服务 Fallback

步骤2:配置降级触发条件

参数
是否必填
说明
示例
触发条件
选择降级触发条件,支持多选:
服务不可用:主模型服务返回 500 / 502 / 503 等错误时触发
• 连接超时:请求超过超时时间无响应时触发
• 速率限制(HTTP 429):主模型服务触发限流时触发
服务不可用
速率限制
说明:
多个触发条件为“或”关系,任意条件满足都会触发降级
错误定义:HTTP 5xx错误、连接超时、网络错误等

步骤3:全局备用服务链

依次添加备用模型服务,降级策略将按照备用模型服务的顺序依次调用。

查看降级状态

在 API 详情页的 降级记录 区域,可查看历史降级记录:
降级触发时间
降级原因(具体的触发条件和阈值)
主服务
最终使用服务
结果