操作场景
当模型 API 触发并发数限流并开启请求排队时,默认所有请求按到达顺序(FIFO)排队等待,高价值业务请求与普通请求的等待时间无差异。
请求优先级调度用于解决上述问题:开启后,当触发并发数排队时,网关按 Consumer(消费者)优先级决定出队顺序,高优请求优先处理。该能力适用于对客实时交互业务与批处理任务并存、需要对 VIP 用户做差异化保障的场景。
前提条件
已创建模型 API。
已创建消费者。
该模型 API 绑定的限流策略已开启请求排队,详情请参见 配置限流策略。
操作步骤
请求优先级调度涉及两处配置:在模型 API 侧开启优先级调度开关,在消费者侧配置调度优先级档位。
步骤1:为模型 API 开启优先级调度
1. 登录 腾讯云控制台,左侧导航栏选择 AI 网关 > 实例管理,进入实例列表。
2. 在左侧导航栏,单击流量管理 > 模型管理,进入模型 API 页面。
3. 单击目标模型 API 所在行右侧的编辑,进入编辑模型 API 页面。
4. 单击下一步,进入选择模型服务步骤。
5. 在全局跨服务 Fallback 下方的优先级调度行,打开开关。
6. 开启后,当触发并发数排队时,按 Consumer 优先级决定出队顺序,高优请求优先处理。
7. 单击确定,完成配置。
说明:
优先级调度开关无附加配置项,调度策略详情(调度算法、排队时长等)在限流策略中统一配置。
存量模型 API 默认关闭优先级调度,行为与现有 FIFO 排队一致,无需变更。
步骤2:为消费者配置调度优先级
1. 在左侧导航栏,单击流量管理 > 消费者管理,进入消费者管理页面。
2. 在消费者页签,单击新建,在弹出的对话框中填写以下参数:
字段 | 说明 | 默认值 |
消费者名称 | 自定义消费者名称(必填) | 无 |
所属消费者组 | 选择消费者所属分组(选填) | 无 |
选择密钥 | 选择该消费者使用的密钥 | 无 |
调度优先级 | 该消费者请求在排队队列中的出队顺序,可选高优 / 中优 / 低优 | 中优 |
描述 | 消费者备注信息(选填) | 无 |
3. 单击确定,完成配置。
说明:
存量消费者未配置调度优先级时,自动归为中优,与现有 FIFO 排队行为一致,无需逐一补充配置。
生效逻辑
优先级调度需同时满足以下条件方可生效:
1. 当前模型 API 已开启优先级调度开关。
2. 该模型 API 绑定的限流策略已开启请求排队并启用优先级调度。
3. 触发限流的维度为并发数。请求数、Token 数维度触发限流时,请求直接返回 429,不进入排队队列。
条件满足后,消费者身份认证完成时优先级自动注入,调用方无需在请求中传入额外参数。排队请求按消费者优先级档位出队,高优请求优先处理,同优先级内按到达顺序(FIFO)处理。
优先级档位说明
档位 | 适用场景 | 加权优先算法权重 |
高优 | 对客业务、实时交互、VIP 用户 | 5x |
中优(默认) | 内部员工、标准 API 调用 | 2x |
低优 | 夜间批处理、后台任务 | 1x |