本文介绍如何创建模型路由实例。模型路由实例是模型路由能力的承载单元,通过创建模型路由实例,用户可统一管理模型接入、流量分发、限流控制、网络访问等策略。
简介
模型路由实例包括以下两种类型:共享型、企业型。
共享型适用于开发调试、功能验证等轻量场景。
企业型面向生产级业务,提供证书配置、VPC 选择能力,满足企业级稳定性与合规要求。
前提条件
操作步骤
1. 登录 模型路由控制台。
2. 在左侧导航栏中,单击实例管理进入实例列表页。
3. 在实例列表页中,单击新建,参数说明如下。
参数 | 说明 |
地域 | 选择实例地域。 |
实例类型 | 可选共享型、企业型。共享型实例适用于开发测试与功能验证环节;企业型实例适用于生产环境,保障业务安全可控。 |
网络类型 | 仅企业型实例支持,可选公网、内网。 |
监听协议 | 监听协议可选 HTTP(80)、HTTPS(443)。网络类型选择公网时,监听协议建议选择 HTTPS(443)。 |
证书 | |
所属网络 | 企业型实例需要选择所属网络。 |
计费模式 | 支持按规格计费和按用量计费两种模式。 按规格计费:不同规格的 CMR 实例对应的费用不同,超过规格限制会自动限流。仅企业型实例支持。 按用量计费:零调用零费用,若用量较大可能产生高额账单。 |
资源包抵扣 | 按规格计费:可选择是否使用资源包抵扣。若选择资源包抵扣,资源包用尽后实例将转为后付费按小时扣费。 按用量计费:仅支持选择资源包抵扣。资源包用尽后实例将停止服务,请及时续费以保障业务连续性。 |
规格 | |
限制类型 | |
TPM | 每分钟允许处理的最大 Token 数(Tokens Per Minute),单位:千/分钟。 仅限制类型为速率限制时支持调整,限制类型为积分预算则沿用积分预算模板设置。 |
RPM | 每分钟允许的最大请求次数(Requests Per Minute),单位:次/分钟。 仅限制类型为速率限制时支持调整,限制类型为积分预算则沿用积分预算模板设置。 |
实例名称 | 最多支持 255 个字符。 |
标签 |
4. 完成以上参数配置后,单击确定创建实例。在实例列表中,即可查看您创建的实例。
后续操作
1. 创建模型路由访问密钥,详细操作指导请参见 创建模型路由访问密钥。
2. 新增 BYOK 模型,详细操作指导请参见 创建 BYOK 实例。
3. 关联模型并配置模型路由策略,详细操作指导请参见 配置模型调度管理。