　　模型服务接入 Gateway 后，入口侧仍然是 Request 和 QPS，限流、配额、灰度这些机制也都还能继续用。

　　到了模型服务，同样一次 Request，后面的计算量和资源占用可能差很多。

　　上下文越长，输入处理阶段的 Prefill 计算量越大，KV Cache 占用也会随之上升；输出越长，请求停留在逐步生成的 Decode 阶段也越久。前面的请求还没结束，后面的继续进入，Queue 会逐渐堆积，TTFT 也会受到影响。

　　vLLM 暴露的指标里，除了请求数，还能看到 Prompt Token、Generation Token、Running Request、Waiting Request、KV Cache 使用率、Queue Time，以及 TTFT（首个 Token 返回时间）、TPOT（后续 Token 生成耗时）。Request 和 QPS 反映入口的请求量，到了 Serving 一侧，还要结合这些指标观察实例当前的运行情况。

　　Token 更适合衡量一段时间的使用量。租户可以按每分钟请求次数做限制，也可以继续统计 Input Token、Output Token 或 Total Token。做租户额度、模型调用量统计或者资源核算时，请求次数和 Token 数量提供的是两种不同的使用信息。

　　租户还剩多少 Token Budget，可以从额度使用情况里看到；实例当前的 Concurrency、Queue 和 KV Cache，则反映当前的运行状态。短时间内进来了多少请求、入口要不要限流，QPS 依然直接。

　　Output Token 还有实时性上的限制。请求没有结束以前，最终数量并不能确定，用最终 Token 数量参与实时压力判断，会存在明显的时间差。

　　入口侧可以结合 Request、Token 和租户额度做限制。请求到了 Serving，关注的则是 Concurrency、Queue、KV Cache 等运行状态。

　　模型灰度时，HTTP 200、Pod Ready、GPU 状态正常，并不能覆盖模型输出本身的变化。

　　错误率、延迟、TTFT、Queue 没有异常，可以反映运行侧的状态。模型结果有没有变化，还会受到模型版本、Prompt 模板、量化方式、上下文裁剪和推理参数的影响。

　　有些变化可以通过固定评测集提前发现，有些需要结合线上抽样。具体业务里，还可能关注结构化输出、工具调用或者最终任务结果。

　　这些变化未必会同步反映到接口状态和延迟上。请求正常返回，运行指标也没有明显异常，输出内容本身仍然可能发生变化。

　　Gateway 负责请求路由和流量策略。请求刚进入时，它没有条件判断这次生成结果与旧版本相比是否发生了质量变化。质量评测留在评测侧，发布系统拿到评测结果以后，再结合错误率、延迟、TTFT、Queue 等运行指标调整流量比例。

　　模型版本部署完成，只代表新版本已经可以提供服务。生产流量什么时候切换、切多少，还需要发布阶段继续处理。

　　灰度时可以先给新版本一部分流量，Gateway 负责切流，Serving 暴露运行状态，评测侧给出质量结果。发布系统根据运行指标和评测结果调整流量比例，必要时回退到原版本。

　　质量评测也不一定对应一个统一分数。固定评测集可以比较版本变化，线上抽样可以观察真实请求里的输出差异，具体业务还可能继续看 JSON 结构、函数调用结果或者任务完成情况。发布系统使用这些结果参与版本判断，评测逻辑本身留在评测侧。

　　Argo Rollouts 的 Analysis 可以接入外部指标参与 Canary 判断。KServe 的 LLMInferenceService 支持版本之间的流量切分，也能够观察 TTFT、吞吐、Error Rate、KV Cache、Queue Depth 等运行状态。

　　模型路由确定后，还需要确定具体的推理实例。

　　Kubernetes 能反映 Pod 是否 Ready、资源是否完成调度，但这些信息不能直接反映实例当前的推理负载。两个同样处于 Ready 状态的实例，Queue 深度、KV Cache 占用甚至 Adapter 可用情况都可能不同。

　　如果负载均衡只依据实例健康状态，这些运行状态不会参与当前请求的实例选择。

　　Gateway 负责认证、租户、额度和模型路由。Gateway API Inference Extension 中，

 用来组织一组模型服务 Endpoint，Endpoint Picker，也就是 EPP，根据后端状态帮助数据面选择具体的 Endpoint。

　　Queue、KV Cache 等信息不需要全部维护在 Gateway 进程里。EPP 可以维护实例选择需要的后端状态，在请求到来时参与 Endpoint Selection。Gateway 继续处理入口侧策略和模型路由，Serving 侧的状态由实例选择逻辑使用。

　　后端状态也不需要等每次请求到来以后再临时查询。实例状态可以异步维护，请求进入时直接使用当前可用的信息完成选择。状态如何采集和维护，可以由具体实现决定。

　　Pod、资源、调度、扩缩容和生命周期由 Kubernetes 管理；Batch、Prefill、Decode、Queue、KV Cache 属于 Serving Runtime。

　　Serving 一侧的负载持续升高时，可能触发扩缩容和资源调度；已经存在多个可用实例时，Queue、KV Cache 等状态可以参与当前请求的 Endpoint Selection。

　　EPP 参与 Endpoint Selection，但不作为模型请求的后端执行节点。数据面从 EPP 获得选择结果以后，再把请求发送到对应的模型实例。

　　当前 Gateway API Inference Extension 通过 Envoy 

 与 EPP 协作，底层使用 gRPC 双向流。

 负责数据面和 EPP 之间的交互，具体的 Endpoint Selection 由 EPP 处理。

　　Token Rate Limiting 可以处理基于 Token 的额度和限制，InferencePool 和 EPP 用于实例选择，KServe 可以做模型版本之间的流量切分，Argo Rollouts 可以把外部指标带入发布判断。

　　入口侧仍然会用到 Request、QPS、Token 和租户额度。请求到了 Serving，关注点会转到 Concurrency、Queue、KV Cache、TTFT、TPOT，其中一部分状态还会影响 Endpoint Selection。

　　Gateway 执行流量比例，Serving 提供运行指标，评测侧提供模型质量结果，发布系统根据这些信息调整 Canary 比例。

　　Gateway 处理认证、租户、路由和流量策略，Kubernetes 管理 Pod、资源、调度和生命周期。Serving Runtime 处理 Batch、Prefill、Decode、Queue 和 KV Cache，EPP 根据后端状态参与实例选择。

　　Request 和 QPS 继续留在入口，Token 补充调用量和额度信息；请求进入 Serving 之后，后面的资源消耗、实例状态和版本质量，已经不能再由请求数量单独解释。

从 QPS 到 Token：模型服务接入后的流量治理

模型服务接入 Gateway 后，入口侧仍然可以使用 Request、QPS、错误率和延迟等指标，但 Serving 侧还会涉及 Token、Queue、KV Cache、模型质量和实例选择。本文沿着请求进入模型服务后的链路，讨论这些信息在流量治理中的位置和使用方式。

人工智能

云计算

架构设计

模型服务接入Gateway后，入口侧仍用Request和QPS做限流配额，但需结合Token、KVCache、Queue等Serving指标观察实例负载。Token用于衡量租户额度和资源核算，QPS反映实时请求压力，模型灰度需运行指标配合评测集及线上抽样判断质量变化，EPP依据后端状态参与实例选择。

负载均衡

Kubernetes

路由

JSON

2026上云采购 | AI焕新·智启新局

apigw

4核4G3M云服务器 新用户低至38元/年！

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

从 QPS 到 Token：模型服务接入后的流量治理

从 QPS 到 Token：模型服务接入后的流量治理

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐