操作场景
限流策略用于控制客户端对 AI 网关 API 的访问频率，保护后端模型服务免受突发流量冲击。AI 网关提供三层限流体系，您可以根据业务需求灵活选择：
限流层级 | 说明 | 适用场景 | 是否支持时间窗口策略 |
基础限流 | 全局限流，对当前模型 API 的所有请求进行整体限制，支持按并发数、请求数、总 Token 数等指标限流 | 保护后端服务的整体容量 | ✔ 支持 |
参数限流 | 按不同维度配置限流阈值，支持按消费者、API、路由等维度分别设置限流规则 | 多租户场景，不同消费者差异化配额 | ✖ 不支持 |
精细化限流 | 针对不同的参数值（如客户端 IP）设置精细化限流阈值，按顺序匹配 | 防止单一客户端异常占用 | ✖ 不支持 |
本文档将指导您如何在 AI 网关中配置和管理限流策略。
前置条件
已创建 AI 网关实例
已创建模型 API
已创建消费者（如需按消费者限流）
操作步骤
步骤1：进入目标 API 限流策略配置页
1. 登录 微服务平台控制台 ，左侧导航栏选择 AI 网关进入实例列表。
2. 在实例列表页面，单击需要配置的网关实例的"ID"，进入该网关实例的基本信息页面。
3. 在左侧导航栏单击模型管理，单击模型 API 页签。
4. 单击目标模型 API 名称（已创建的 API），进入其详情页，单击限流策略。
步骤2：开启限流
开启限流开关。
步骤3：选择限流层级并配置限流规则
在限流配置区域，首先选择限流层级，不同层级的配置规则如下。
基础限流
基础限流对整个 API 生效，对所有请求统一计数。
1. 开启基础限流。
2. 根据实际需求选择限流指标类型并配置对应阈值：
总 Token （时间窗口内允许的总 Token 消耗量）
请求数（时间窗口内允许的最大请求次数）
并发数（允许的最大并发连接数）
3. 可单击添加限流规则，为当前 API 配置多层限流，例如：
规则 1：并发数最多 1000 个并发
规则 2：总 Token 每分钟请求数最多 1000 个
说明：
基础限流的阈值在未匹配任何时间窗口规则时作为兜底值生效。如需按不同时段配置差异化阈值，请参见步骤4：启用时间窗口策略。
参数限流
参数限流允许按不同维度分别配置限流阈值，不同维度独立计数。
1. 开启参数限流。
2. 根据实际需求选择选择限流维度并配置对应阈值：
消费者：按消费者限流，不同消费者独立计数，适用于多租户场景
API：按 API 限流，所有消费者共享配额，适用于保护后端服务
路由：按路由限流，仅适用于 Agent API，可为不同的路由配置不同的限流策略
3. 可单击添加限流阈值，为消费者配置多层限流，例如：
规则 1：消费者 A，并发数最多 1000 个并发
规则 2：消费者 A，每分钟请求数最多 5000 次
精细化限流
精细化限流支持按具体条件（如客户端 IP）设置限流规则，按配置顺序匹配。
1. 开启精细化限流。
2. 配置限流条件，根据实际需求选择条件类型、填写参数名和参数值。
3. 为该条件配置限流阈值。
4. 可单击添加限流阈值，为同一条件添加多条限流阈值。
5. 可单击添加规则，新增精细化限流的不同条件并配置对应限流阈值。
注意：
在同一限流层级中，同一限流指标只能配置一条规则。若尝试重复添加，系统将弹出提示信息并拦截。
可同时配置基础限流、参数限流和精细化限流，三层规则组合生效。网关会依次检查所有规则，任意规则触发限流都会拒绝请求。
步骤4：启用时间窗口策略（可选）
时间窗口策略允许按不同时间段配置差异化的限流阈值，实现业务高峰期和低峰期的动态流量管控。仅基础限流支持配置时间窗口策略，参数限流和精细化限流暂不支持。
1. 在基础限流配置区域，勾选启用时间窗口策略复选框。
2. 勾选后，页面将自动展示时间窗口配置区域，包含快捷策略选项和时间窗口规则列表。
3. 通过以下三种方式添加时间窗口规则，并为每条规则的阈值配置相应限流阈值：
快捷策略——工作日/非工作日
快捷策略——白天/晚上
自定义时段
4. 配置时间窗口策略并保存后，支持在限流策略页面单击规则生效预览，验证规则匹配结果。系统将展示所选时间点的基础限流生效规则详情，包括生效规则名称、优先级、限流指标与阈值。
说明：
请求到达时，系统将按以下逻辑确定生效的基础限流阈值：
场景 | 匹配结果 | 生效阈值 |
当前时间匹配到某条时间窗口规则 | 匹配成功 | 使用该时间窗口规则的阈值 |
当前时间未匹配任何时间窗口规则 | 匹配失败 | 回退到基础限流配置的阈值（兜底值） |
示例：基础限流配置 1 分钟最多 500 个请求，启用时间窗口策略后添加规则"工作日 09:00-18:00 1 分钟最多 100 个请求"。则工作日白天生效 100，其他时段生效 500。
步骤5：保存配置
单击确定保存限流策略配置。
