模型服务

最近更新时间:2026-01-29 14:56:51

我的收藏

操作场景

您需要将大模型服务添加到 AI 网关中,以便网关能代理请求至相应的模型供应商,实现统一接入、路由、降级与密钥管理。AI 网关支持添加混元、Google Gemini、DeepSeek、千问、OpenAI 等供应商的模型服务。本文介绍如何为 AI 网关添加、编辑和删除模型服务。

操作步骤

添加模型服务

1. 登录微服务平台控制台,在左侧导航栏单击云原生智能网关 > 实例列表
2. 在实例列表页面,单击需要配置的网关实例的“ID”,进入该网关实例的基本信息页面。
3. 在左侧导航栏单击模型管理,然后单击模型服务​页签,在服务列表中单击新建
4. 在“新建模型服务”窗口中,完成第一步“基本信息”的配置。
参数
是否必填
说明
服务名称
输入服务名称。最长60个字符,支持中英文大小写、数字及分隔符(“-”、“_”),不能以数字和分隔符开头,不能以分隔符结尾。
服务类型
固定为“AI模型服务”。
模型供应商
选择模型供应商,支持混元、Google-Gemini、DeepSeek、千问、OpenAI。
模型协议
根据模型供应商支持的模型协议,选择需要使用的模型协议。
服务地址
确认模型服务的服务地址。
模型密钥
选择已配置的该供应商 API 密钥,或单击“新建密钥”跳转至密钥管理页面进行添加。网关将使用此密钥调用对应模型 API。
密钥使用策略
当配置了多个密钥时,定义密钥的使用方式。默认为轮询,可在多个密钥间均衡负载。
描述
该服务的描述信息,便于后续管理。
注意:
AI 模型服务提供的大模型能力由第三方提供,AI 网关不直接提供这些能力。请自行评估服务适用性与可靠性,确保使用行为符合相关法规和协议要求。对于因违反规定产生的后果,我们不承担责任。
5. 完成基本信息后,单击 下一步,进入“选择模型策略”步骤。
模型选择方式:此配置决定网关如何处理客户端请求中的模型(model)参数。
指定模型
透传请求模型
网关将忽略客户端请求中的 model 参数,统一使用您在下方“默认模型”中指定的模型。此模式适合成本控制和高可用场景,便于统一路由和降级。
默认模型:当“模型选择方式”为“指定模型”时,必须在此处选择一个具体的模型名称
模型 Fallback:开启后,当请求“默认模型”失败时,网关可根据规则自动切换(Fallback)到其他可用模型,保障服务高可用。
备选规则:开启 Fallback 后,需在此选择或配置当主模型不可用时的备选模型列表及切换规则。
网关将直接使用客户端请求中的 model 参数,并将其转发给供应商。此模式适合需要客户端灵活控制模型选择的场景,但请确保客户端传递正确的模型名称。
模型参数校验:开启后,网关将校验客户端请求中的 model 参数是否在允许的列表内。
允许的模型列表:定义客户端允许请求的模型名称白名单。
校验失败处理:定义当模型校验失败时的处理策略,支持“返回404”或“使用默认模型降级”。
6. 配置完成后,单击确定​即可创建模型服务。
7. 添加后,服务列表中会出现新增的服务,单击服务 ID/名称,查看详细的服务信息。

编辑服务

模型服务​列表页面,找到目标服务,单击其操作列下的编辑,即可修改服务配置信息,修改后单击确定​保存。

删除服务

模型服务​列表页面,找到目标服务,单击其操作列下的删除,系统将进行删除前的依赖关系校验。
1. 系统会弹窗提示您确认删除,并自动检查该服务是否存在被其他资源(如“模型 API”)绑定的情况。
2. 确认结果:
若无依赖:弹窗将直接显示服务 ID 和名称,单击确定​即可删除。
若存在依赖:弹窗会在服务信息下方显示“资源删除依赖关系检查结果”,并提示“存在未解除的依赖关系”,同时列出具体的依赖项。
3. 若存在依赖,您需要先行解除所有列出的依赖关系。解除依赖后,可单击弹窗内的重新检查​操作,系统将再次进行校验。当校验通过,依赖提示消失后,单击确定​即可最终删除该服务。若需放弃删除,可单击取消