一个提供服务的模型路由 CMR 实例由以下核心组件构成:

CMR 实例
CMR 实例是模型路由对外提供服务的最小载体,也是您接入大模型能力的统一入口。
实例类型:分为企业型和共享型两类,满足不同业务规模和隔离要求。
网络类型:CMR 实例支持公网或内网接入,可按需选择。
协议与端口:兼容 HTTP(80)、HTTPS(443)等标准协议。
API Key
API Key 是用户访问模型路由实例时携带的密钥。模型路由根据该密钥进行鉴权和调用模型控制。
模型调度管理
模型调度配置是模型路由 CMR 的“调度大脑”和“核心引擎”,负责根据用户配置的模型策略与用户请求特征,将请求分发到合适的模型通道。支持意图智能路由, L1模型间路由和 L2模型内路由两层调度策略,并提供配置默认 Fallback 兜底策略。
BYOK
BYOK(Bring Your Own Key)让您将自有的大模型厂商 API Key 托管到模型路由,由路由统一代您调用,避免在业务代码中硬编码密钥。产品采用分层隔离和加密存储的安全设计,保护您的上游模型 API Key。客户的 API Key 仅在数据面模型代理组件中通过业界标准的认证加密算法(AEAD)加密后落库,全链路 TLS 传输,日志与查询接口中的 Key 字段自动脱敏(如 sk-****1234),确保即使数据库泄露也无法还原原始密钥。