帮你快速理解、总结文档立即下载

AI 网关常见问题

最近更新时间:2026-07-23 17:07:31

我的收藏
本文汇总了 AI 网关在使用过程中的常见问题及解答。

产品咨询类

AI 网关是什么?

AI 网关面向大模型与智能化场景,提供大模型网关(多模型统一接入与智能调度)、MCP 网关(传统应用 AI 化改造与协议转换)能力。

云原生网关和 AI 网关有什么区别?

云原生网关面向传统微服务与云原生流量治理场景,解决南北向、东西向流量的接入、路由、限流、熔断、安全防护等问题。
AI 网关面向大模型与智能化场景,专注于解决企业接入、调度和管理多种 AI 模型时面临的协议复杂、治理困难、成本不可控及存量业务改造门槛高等核心问题,提供模型统一接入、智能路由、协议转换(MCP/OpenAI)、Token 级限流等能力。
两者同属云原生智能网关产品,可按业务需要独立选用。

AI 网关使用类

AI 网关能解决什么问题?

AI 网关专注于解决企业接入、调度和管理多种 AI 模型时面临的协议复杂、治理困难、成本不可控及存量业务改造门槛高等核心问题。它作为企业智能化架构的流量入口与治理中枢,通过统一的协议适配、智能的路由调度与全方位的可观测能力,帮助企业高效、安全、经济地集成与使用 AI 能力。

AI 网关支持哪些协议?

AI 网关 100% 兼容开源网关生态,并全面适配 AI 领域标准协议,支持 MCP、OpenAI、SSE 等,提供传统 RESTful、gRPC 等协议的转换,实现一套网关覆盖所有流量。

如何通过 AI 网关调用混元等大模型?

核心流程为六个步骤:
1. 创建模型密钥:在网关中安全配置访问大模型所需的 API 密钥。
2. 创建模型服务:添加模型供应商(如混元),并关联模型密钥,选择模型协议(如 OpenAI 兼容)。
3. 创建模型 API:创建对外提供能力的 API,绑定模型服务,配置请求协议、路由和 Base Path。
4. 创建消费者:创建调用方身份,并为其添加 API Key 凭证。
5. 创建消费者组并授权:将消费者分组,并授予访问模型 API 的权限。
6. 获取访问地址并发起调用:在控制台获取网关入口地址与请求路径,使用消费者凭证(API Key)发起调用。
调用示例:
curl -i -X POST <访问地址> \\
-H "Content-Type: application/json" \\
-H "Authorization: Bearer <API_KEY>" \\
-d '{
"model": "<MODEL_NAME>",
"messages": [
{"role": "user", "content": "你好,请介绍一下你自己。"}
]
}'

如何使用自定义模型供应商对接第三方模型平台

1. 在第三方模型平台创建 API Key 。
2. 在 AI 网关创建模型密钥,粘贴第三方 API Key。
3. 新建模型服务,选择"自定义供应商"→ 填入第三方 OpenAPI 兼容端点 → 选择默认模型。
4. 新建模型 API,指定 Base Path 与请求协议,绑定模型服务。
5. 在消费者组中授权该模型 API。
6. 使用消费者 API Key 通过网关公网入口发起调用。

AI 网关如何控制模型调用成本和保障稳定性?

AI 网关提供从消费者、API 到模型等多个维度的限流、熔断、降级能力:
支持 Token 级限流(TPM/TPH/TPD)、QPM 级限流、并发数限流。
支持多模型权重路由、模型名称路由等智能调度策略。
支持模型服务间 Fallback 配置,主模型服务异常时自动切换备用服务。
提供 API 调用延迟、Token 消耗、模型费用等多维度监控,助力运维与成本优化。

AI 网关如何实现多租户隔离与权限管理?

AI 网关通过消费者、消费者组的多级权限模型,为不同租户分配独立 API Key,实现 AI 能力在不同团队、项目间的安全隔离与便捷共享,支撑平台化运营。

什么是 MCP 网关?

MCP 网关面向传统应用 AI 化改造场景,通过协议转换引擎,将存量业务系统提供的标准 API 自动包装成 AI 应用可调用的标准化工具(MCP Tool),实现业务能力的"零代码改造"AI 化,使存量系统快速具备被 AI Agent 以 MCP 协议调用的能力。