帮你快速理解、总结文档立即下载

请求优先级调度

最近更新时间:2026-11-06 18:26:22
我的收藏

操作场景

当模型 API 触发并发数限流并开启请求排队时,默认所有请求按到达顺序(FIFO)排队等待,高价值业务请求与普通请求的等待时间无差异。
请求优先级调度用于解决上述问题:开启后,当触发并发数排队时,网关按 Consumer(消费者)优先级决定出队顺序,高优请求优先处理。该能力适用于对客实时交互业务与批处理任务并存、需要对 VIP 用户做差异化保障的场景。

前提条件

已创建模型 API。
已创建消费者。
该模型 API 绑定的限流策略已开启请求排队,详情请参见 配置限流策略。

操作步骤

请求优先级调度涉及两处配置:在模型 API 侧开启优先级调度开关,在消费者侧配置调度优先级档位。

步骤1:为模型 API 开启优先级调度

1. 登录 腾讯云控制台,左侧导航栏选择 AI 网关 > 实例管理,进入实例列表。
2. 在左侧导航栏,单击流量管理 > 模型管理,进入模型 API 页面。
3. 单击目标模型 API 所在行右侧的编辑,进入编辑模型 API 页面。
4. 单击下一步,进入选择模型服务步骤。
5. 在全局跨服务 Fallback 下方的优先级调度行,打开开关。
6. 开启后,当触发并发数排队时,按 Consumer 优先级决定出队顺序,高优请求优先处理。
7. 单击确定,完成配置。
说明:
优先级调度开关无附加配置项,调度策略详情(调度算法、排队时长等)在限流策略中统一配置。
存量模型 API 默认关闭优先级调度,行为与现有 FIFO 排队一致,无需变更。

步骤2:为消费者配置调度优先级

1. 在左侧导航栏,单击流量管理 > 消费者管理,进入消费者管理页面。
2. 在消费者页签,单击新建,在弹出的对话框中填写以下参数:
字段
说明
默认值
消费者名称
自定义消费者名称(必填)
无
所属消费者组
选择消费者所属分组(选填)
无
选择密钥
选择该消费者使用的密钥
无
调度优先级
该消费者请求在排队队列中的出队顺序,可选高优 / 中优 / 低优
中优
描述
消费者备注信息(选填)
无
3. 单击确定,完成配置。
说明:
存量消费者未配置调度优先级时,自动归为中优,与现有 FIFO 排队行为一致,无需逐一补充配置。

生效逻辑

优先级调度需同时满足以下条件方可生效:
1. 当前模型 API 已开启优先级调度开关。
2. 该模型 API 绑定的限流策略已开启请求排队并启用优先级调度。
3. 触发限流的维度为并发数。请求数、Token 数维度触发限流时,请求直接返回 429,不进入排队队列。
条件满足后,消费者身份认证完成时优先级自动注入,调用方无需在请求中传入额外参数。排队请求按消费者优先级档位出队,高优请求优先处理,同优先级内按到达顺序(FIFO)处理。

优先级档位说明

档位
适用场景
加权优先算法权重
高优
对客业务、实时交互、VIP 用户
5x
中优(默认)
内部员工、标准 API 调用
2x
低优
夜间批处理、后台任务
1x