消费者配额管理用于为 AI 网关中的消费者设置调用配额,包括 Token 用量配额和成本预算配额。通过配额管理,您可以控制消费者的模型调用量,避免资源滥用,保障业务连续性。
功能概述
消费者配额管理支持以下核心能力:
Token 用量配额:限制消费者在指定时间周期内的 Token 消耗总量(输入 Token + 输出 Token)。
成本预算配额:限制消费者在指定时间周期内的调用成本总额。
配额周期:支持按天、按周、按月设置配额周期。
超配策略:支持配置配额超限后的处理策略(拒绝请求 / 降级路由)。
配额状态:实时展示各消费者的配额使用情况(正常 / 预警 / 超限)。
前置条件
已创建 AI 网关实例,且实例版本 ≥ 3.9.4。
已创建消费者(Consumer)。
如需使用成本预算配额,需先配置模型单价(参见模型单价配置文档)。
操作详情
进入消费者配额管理页面
1. 登录微服务平台控制台,在左侧导航栏单击云原生智能网关 > 实例列表。
2. 在实例列表页面,单击需要配置的网关实例的“ID”,进入该网关实例的基本信息页面。
3. 在左侧导航栏选择 配额管理。
配额管理页面展示该网关实例的配额配置列表和当前配额使用情况。
添加消费者配额规则
您可以选择消费者来添加配额规则。
1. 在配额管理页面,单击新建配额规则。
2. 在弹出的对话框中,配置以下参数:
参数 | 必填 | 说明 |
消费者 | 是 | 选择当前实例的消费者,如果需要新建,可单击新建消费者 |
配额类型 | 是 | 选择 Token 用量或请求次数 |
统计周期 | 是 | 配额统计周期:按天 / 按周 / 按月 |
限额 | 是 | Token 用量配额:输入 Token 用量上限(单位:Token)请求次数配额:输入请求次数上限(单位:次) |
启用状态 | 开关 | 当配额使用率达到指定百分比时触发预警,取值范围:50% ~ 95% |
3. 配额类型说明:
配额限制可以按日、按周、按月统计
超出配额后,系统将拒绝新的请求
可以为同一对象设置多种配额类型(Token、请求次数)
配额使用情况每小时更新一次
4. 单击 确定,完成配额配置添加。
注意:
一个消费者可以同时配置多个配额(如同时配置 Token用量配额 和 成本预算配额)。
当多个配额同时超限时,以先触发的超配策略为准。
降级路由的目标模型服务必须已创建且状态正常。
查看配额使用情况
配额配置完成后,系统会实时统计消费者的配额使用情况。
在配额管理页面,配额列表展示以下信息:
字段 | 说明 |
资源 ID/名称 | 配额规则对应的资源 ID/名称 |
配额类型 | Token 数量配额 / 请求次数配额 |
配额周期 | 按天 / 按周 / 按月 |
配额上限 | 配置的配额上限值 |
使用量 | 当前周期内已使用的配额量 |
使用率 | 当前使用量 / 配额上限 × 100% |
启用状态 | 当前配额规则情况 |
创建/修改时间 | 最新的创建和修改时间 |
操作 | 编辑 / 删除 |
编辑消费者配额
您可以根据需要修改已有配额配置。
1. 在配额管理页面,找到目标配额配置。
2. 单击操作列的编辑。
3. 修改需要变更的参数(消费者不可修改)。
4. 单击确定保存修改。
说明:
编辑配额后,当前周期的配额使用量不会重置,将继续累计。
删除消费者配额
当某个配额不再需要时,可删除配额配置。
1. 在配额管理页面,找到目标配额配置。
2. 单击操作列的删除。
3. 在确认对话框中单击确定。
配额管理 Redis 配置
您在使用配额管理前,需要手动配置 Redis,以保存当前配额规则信息,若未配置 Redis,则无法展示配额数据。
1. 在配额管理页面,单击 Redis 配置 进入 Redis 配置页面。
2. 在 Redis 配置页,单击编辑 Redis 配置,填写 Redis 信息。
3. 单击保存后完成 Redis 配置,可以开始配额规则配置
Redis 配置编辑
您在使用配额管理时,若需要修改 Redis 配置,可以单击编辑 Redis 配置按钮进入 Redis 编辑页面:
1. 在配额管理页面,单击编辑 Redis 配置,进入 Redis 编辑页面。
2. 在 Redis 编辑页,修改 Redis 服务信息。
3. 单击保存后完成修改 Redis 配置,可以继续完成新配额规则配置
常见问题
Q1:配额周期如何计算?
按天:从当日 00:00:00 到 23:59:59。
按周:从周一 00:00:00 到周日 23:59:59。
按月:从当月第1天 00:00:00 到当月最后1天 23:59:59。
Q2:一个消费者可以配置多个配额吗?
可以。一个消费者可以同时配置多个配额(如同时配置 Token 用量配额 和 成本预算配额),也可以配置多个同类型的配额(如两个 Token 用量配额,分别按天和按月统计)。