操作场景
降级策略用于在后端模型服务出现异常时,自动降级服务质量,保障系统可用性。通过配置降级策略,您可以:
当服务异常时自动触发降级
查看降级触发记录。
降级策略是保障系统稳定性的重要手段,与跨服务 Fallback 配合使用可实现完整的容灾方案。
本文档指导您如何在 AI 网关中配置和管理降级策略。
前置条件
已创建 AI 网关实例
已创建模型 API
已创建模型服务
操作步骤
步骤1:进入 API 详情页
在创建或编辑 API 时,找到 降级策略 区域。开启 全局跨服务 Fallback。
步骤2:配置降级触发条件
参数 | 是否必填 | 说明 | 示例 |
触发条件 | 是 | 选择降级触发条件,支持多选: • 服务不可用:主模型服务返回 500 / 502 / 503 等错误时触发 • 连接超时:请求超过超时时间无响应时触发 • 速率限制(HTTP 429):主模型服务触发限流时触发 | 服务不可用速率限制 |
说明:
多个触发条件为“或”关系,任意条件满足都会触发降级
错误定义:HTTP 5xx错误、连接超时、网络错误等
步骤3:全局备用服务链
依次添加备用模型服务,降级策略将按照备用模型服务的顺序依次调用。
查看降级状态
在 API 详情页的 降级记录 区域,可查看历史降级记录:
降级触发时间
降级原因(具体的触发条件和阈值)
主服务
最终使用服务
结果