用户组用于对模型路由访问密钥(API Key)进行分组管理。您可以按照团队、业务线、项目或环境创建用户组,并统一配置组内 API Key 可访问的模型、意图路由规则和资源限制。
说明:
用户组功能仅适用于模型路由企业版实例,共享版实例不支持该功能。
功能概述
分组管理:按照组织或业务边界集中管理 API Key。
访问可控:限制组内 API Key 可以访问的模型和意图路由规则。
资源可控:通过积分预算和速率限制控制用户组的整体资源消耗。
灵活配置:支持通过标签对用户组进行分类,满足不同业务场景的管理需求。
核心功能
1. API Key 分组管理
一个模型路由实例可以创建多个用户组,一个用户组可以关联多个 API Key。您可以根据 API Key 所属的团队、业务线、项目、应用或环境,将其分配至对应的用户组。
每个 API Key 只能归属一个用户组。将 API Key 分配至其他用户组后,该 API Key 将从原用户组中移出,并归属至新的用户组。
新建或导入的 API Key 默认归属系统内置的“未分组 API Key”用户组。后续可根据业务需要,将其分配至自定义用户组。
2. 模型访问控制
您可以为用户组指定允许访问的模型或意图路由规则。组内 API Key 只能使用该用户组允许访问的模型和意图路由规则。
如果创建用户组时未指定模型或意图路由规则,组内 API Key 默认可以使用当前模型路由实例下的全部模型和意图路由规则。
通过用户组配置模型访问范围,可以为不同团队或业务开放不同的模型能力。例如,为开发测试团队开放低成本模型,为生产业务开放指定的高可用模型或意图路由规则。
3. 用户组限制
用户组可以关联积分预算,用于限制组内 API Key 的总体积分消耗和调用速率。
积分预算可以包含以下限制:
最大积分额度。
积分重置周期。
TPM(Token per minute)限制。
RPM(Request per minute)限制。
模型路由实例、用户组和 API Key 可以分别配置积分预算和速率限制。API Key 发起调用时,需要同时满足实例、所属用户组和 API Key 三个层级的限制条件。任一层级达到额度或速率上限后,相关调用都会受到限制。
4. 标签管理
您可以为用户组配置标签,根据部门、项目、环境或成本中心等维度对用户组进行分类,便于检索和管理相关资源。
典型场景
为不同团队或业务线创建独立用户组,将相应 API Key 分配至对应用户组,并分别配置可访问的模型和积分预算,实现不同团队之间的资源隔离。
按照业务环境创建用户组,为不同环境配置独立的模型访问范围、积分预算和速率限制,避免开发测试流量影响生产业务。
将高成本模型或特定意图路由规则仅授权给指定用户组,其他用户组使用通用模型或更具性价比的模型,实现模型能力的按需开放。
在实例层控制整体资源消耗,在用户组层控制团队或业务线的资源消耗,在 API Key 层控制具体应用、员工或脚本的调用行为,实现分层资源管控。
常见问题
1. 新建 API Key 会归属哪个用户组?
新建或导入 API Key 时,如果未指定用户组,该 API Key 默认归属系统内置的“未分组 API Key”用户组;如果在目标用户组下新建或导入,该 API Key 将直接归属该用户组。创建后,您也可以根据业务需要调整其所属用户组。
2. 一个 API Key 可以同时归属多个用户组吗?
不可以。每个 API Key 只能归属一个用户组。将 API Key 分配至新的用户组后,该 API Key 将从原用户组中移出。
3. 用户组未指定模型或意图路由规则时,组内 API Key 可以访问哪些模型?
如果用户组未指定模型或意图路由规则,组内 API Key 默认可以使用当前模型路由实例下的全部模型和意图路由规则。
4. 用户组的积分预算耗尽后会发生什么?
当用户组关联的积分预算耗尽时,组内 API Key 将无法继续调用模型,直到预算额度重置或调整。
相关文档
创建用户组
配置积分预算
配置模型调度管理