总览
腾讯云 TI 平台在线服务模块提供了多种服务调用模式，不同调用模式的选择会直接影响线上服务的稳定性、访问速度及费用成本。本文档将详细解析这几种模式的技术原理、适用场景及优劣势，帮助用户根据自身业务特点做出最优选择。
多种调用模式的调用链路概览图
多种调用模式的对比说明概览表
调用模式 | 技术原理 | 适用场景 | 优势 | 劣势 |
1.1 公共网关-公网访问 | 用户的请求通过互联网公开访问。调用路径为：用户客户端 → 公网 → WAF（Web 应用防火墙） → 公网 CLB（负载均衡） → TI 公共网关 → 用户服务。 这是完全由平台托管的“一键式”接入方案，用户无需关心网关的部署和运维。 | 业务原型验证：快速验证 AI 模型服务效果，前期无需投入网关设施。 初创企业或中小型项目：技术团队规模有限，希望将精力完全聚焦于模型与业务逻辑。 | 零运维成本：网关的部署、监控、扩缩容、安全更新完全由 TI 平台负责，用户无需配备网关运维人员。 开箱即用：无需用户单独购买和配置网关实例，一键部署线上推理服务。 | 共享带宽瓶颈：所有租户共享公网出口带宽，在极端流量场景下，可能受到其他租户的影响。 转发链路长：请求需经过 WAF、CLB、网关多层转发，每层均会增加少量延迟。 |
1.2 公共网关-VPC访问 | 用户在自己的腾讯云 VPC 内发起请求，通过 私有连接 建立用户 VPC 与服务的高速通道，完全绕过公网和 WAF。调用路径为：用户客户端（同地域 VPC 内）→ 内网 → TI 公共网关 → 用户服务。 注意：此模式下公共网关本身仍是多租户共享，仅网络链路变为内网。 | 对延迟敏感但对成本有要求的业务：需要比公网访问更稳定、低延迟的链路，但尚不需或不愿承担专属网关的成本。 数据安全合规要求：业务数据因合规要求不能通过公网传输。 | 低延迟：内网链路延迟低且稳定，避免了公网路由跳转和拥塞。 高带宽：内网带宽比公网带宽更高。 | 网关资源仍为共享：性能瓶颈从"网络"转移到了"公共网关实例"。在 TI 平台整体负载高峰时，用户的服务仍可能受到其他租户流量的间接影响。 配置复杂度增加：需要预先规划和配置 VPC 对等连接、路由表等网络设施，对运维人员的网络知识有要求。 |
2.CLB直连 | CLB（负载均衡）直连模式提供了资源层面的物理隔离。调用路径极简：用户客户端 → 用户内网 CLB 实例 → 用户服务。该模式完全绕过了 TI 平台的所有网关组件，实现了最直接的点对点通信。 | 对性能有极致要求的生产业务：如高频交易的风控模型、实时推荐系统等，对推理时延、性能有高要求。 大规模、稳定流量的线上业务：业务模型稳定，流量预测准确，用户可自行规划和管理自有的 CLB 实例及后端资源。 | 链路最短：无任何额外转发跳点，避免了多租户共享资源带来的性能干扰。 CLB 独享：CLB 实例（规格、带宽）及后端服务实例资源完全用户独享。客户拥有对 CLB 配置（监听器、转发规则）的完全控制权。 | 无 TI 平台提供的业务附加功能：服务鉴权、限流策略、网关监控、请求日志、服务告警等。 运维复杂度更高：用户需全面负责 CLB 的容量规划、配置、监控、扩缩容和安全防护；需要自行处理 CLB 与后端服务实例发现、健康检查等细节。 |
说明：
模式1: 公共网关
场景说明
当用户还在业务测试体验阶段，需要快速部署一个在线服务以验证模型效果时，可以在部署服务时便捷配置“网关类型”参数为“公共网关“。
服务调用
服务部署成功后，单击服务名称进入【服务调用】的详情页面，可以看到“公共网关”模式下提供的“公网访问、VPC访问”两种服务调用地址。
1.1 公网访问
用户可以先使用公开测试数据调用“公网访问地址”快速体验模型效果。通过该调用信息可以向在线服务发起预测请求，curl 命令示例如下，其中 Authorization 仅在服务鉴权开启时需要：
curl -X POST https://ms-9******j-100******5.gw.ap-guangzhou.ti.tencentcs.com/ms-9******j/v1/chat/completions -H 'Authorization: P*********pg' -H 'Content-Type: application/json' -d '{"model":"ms-bwxrvpzp","messages":[{"role":"user","content":"你好"}]}'
1.2 VPC访问
当使用公开数据测试模型通过后，若用户进一步希望使用内网业务的真实敏感数据对模型进行测试，则可使用“VPC访问”链路。在 VPC 访问模式下平台提供 HTTP 和 gRPC 两种协议。
HTTP 协议
用户首次配置 VPC 访问链路时，需单击开启新增高速服务调用网段。在配置弹窗中，选择打通内网的 VPC、子网 信息。本能力使用 私有连接，配置后，将在您账户的该 VPC 和子网下，创建一个终端节点，独立计费，您可参考 终端节点计费文档 。
配置完成后，会自动展示 VPC 调用地址，以及可调用的 VPC、子网信息，支持配置多个VPC调用地址，配置完成后支持删除。
通过该调用信息可以向在线服务发起预测请求，curl 命令示例如下：
curl -X POST http://172.16.222.106/ms-********/v1/chat/completions -H 'Content-Type: application/json' -d '{"model":"ms-********","messages":[{"role":"user","content":"你好"}]}'
gRPC协议
VPC 访问除支持 HTTP 协议外，用户还可在新建在线服务时选择 开启 gRPC 的开关按钮来支持 gRPC 的服务调用协议。
用户开启 gRPC 协议后，和原本仅支持 HTTP 协议的区别是：
开启后，仅支持 VPC 模式访问服务，公共网关的“公网访问地址”会被屏蔽无法访问；
由于产品提供的“接口在线测试“功能依赖公网下的 HTTP 协议调用，所以开启 gRPC 协议后不再支持【接口信息】的模块。
gRPC 调用说明：发送请求时，请求中需携带 Header x-ti-service = ms-h******v 和 虚拟 Authority（ms-h******v-1**********5-sw-grpc.gw.ap-shanghai.ti.tencentcs.com）。
模式2: CLB 直连
场景说明
当用户在业务验证阶段使用上述的“公网访问”或“VPC访问”调用方式完成模型服务效果测试后，需要将模型服务能力正式提供给线上业务使用时，则可以进一步采取“CLB直连”的调用模式应对线上大规模、稳定的业务调用请求。
服务调用
服务部署成功后，单击服务名称进入【服务调用】的详情页面。首次配置时需开启 “CLB 直连”模式的开关按钮。在配置弹窗中，选择您的 CLB 实例并配置 CLB 暴露的入/出端口号。
配置完成后，前端会自动展示 CLB 调用地址信息。
通过该调用信息可以向在线服务发起预测请求，curl 命令示例如下：
curl -X POST http://172.17.67.115:8080/ms-bwxrvpzp/ms-bwxrvpzp/v1/chat/completions -H 'Content-Type: application/json' -d '{"model":"ms-bwxrvpzp","messages":[{"role":"user","content":"你好"}]}'
