首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >蓝绿、灰度、影子发布到了 LLM 时代全都变了味

蓝绿、灰度、影子发布到了 LLM 时代全都变了味

原创
作者头像
HELLO程序员
发布于 2026-11-18 10:36:17
发布于 2026-11-18 10:36:17
230
举报

蓝绿、灰度、影子发布到了 LLM 时代全都变了味

传统软件的发布手册建立在一个安静的前提上:新版本在生产环境闯了祸,旧版本还躺在镜像仓库里,随时可以把流量切回去。但在托管大模型之上做系统,你其实是在借来的时间里奔跑——权重在厂商 API 后面,退役日期在别人的日历上,如果你让云端点保持默认设置,厂商甚至会在你没发版的情况下,直接在你的线上流量底下把模型升级掉。

OpenAI 已通知 GPT-4o 和 GPT-4.1 将于 2027 年 1 月 14 日从 API 移除,Azure OpenAI 给大多数版本定在 2027 年 4 月 14 日,并注明 Standard 部署会按区域随退役窗口自动升级。这类通知我一律当成变更请求来读:变了什么、会坏在哪里、怎么回退。而"怎么回退"这一问,正是 LLM 系统和传统交付分道扬镳的地方。

为什么经典发布模式在这里会卡壳

我在银行业做了十多年发布,最近几年在 OpenShift 上用蓝绿部署,写回滚方案。那些方案之所以管用,是因为我们拥有每一个制品,坏版本通常会通过 HTTP 500 或延迟飙升迅速自报家门。而在 LLM 系统里,"一次发布"可能是一次 prompt 修改、一次厂商模型替换、一次 embedding 索引重建、一个新 Agent 工具、或一个护栏阈值调整。它们的失败方式各不相同,而且往往返回 200 OK——更糟的是,托管模型一旦被厂商退役,你根本没法回滚。

逐个看经典模式的水土不服:

  • 蓝绿:两个环境并行、一次性切流,旧环境保持热备以便瞬间回滚。凡是你自己拥有、能并排跑的东西(比如向量索引),这依然是最好的模式。但托管模型不行——厂商退役后,旧环境根本保不住。
  • 灰度(canary):小流量试新版本,靠错误率、延迟这类快速健康信号逐步放量。可 LLM 的质量信号(在线打分、用户改写率)来得慢还带噪,所以每个灰度阶段必须跑够被评分的样本量,而不是固定的分钟数。
  • 影子(shadow):把线上请求复制给候选者,记录输出做对比但不展示。只读负载安全,但采样流量上 token 用量翻倍。对带写工具的 Agent 做影子更危险——除非每个外部工具都打了桩,否则现实世界的操作会被执行两遍。
  • 冠军-挑战者:当前版本和挑战者在相同输入上跑,只有在约定指标上打平或胜出才晋升。这个模式在厂商模型替换时特别好用,因为目标是保持既有行为和延迟预算。
  • 功能开关:适合风险在"能力"而非"文字质量"的场景,比如启用一个新 Agent 工具。

按"变的是什么"选策略,而不是一套流程用到底

我的做法是从变更的制品出发,问它通常怎么失败,再问怎么撤销。三条经验:

1. 蓝绿只留给向量索引——两个制品都归我们,且能低成本并行运行。

2. 批处理任务可以通过回放历史输入干净地测试;Agent 工具改动则必须配按人群的开关和人工审批,因为影子状态下的写操作依然会改变外部状态。

3. 厂商换模型几乎总要对 prompt 做调整,才能维持格式和拒答行为。所以 prompt 版本、模型版本、路由配置是绑定在一起的单一制品,必须一起测试和回滚。

把回滚阈值写成硬指标和软指标

发布成功的定义是:候选者在质量、延迟、成本、稳定性上同时扛得住。事先把触发条件连同责任人和动作写下来,能避免事故现场的扯皮。

硬触发覆盖快速确定性信号(schema 失败、p95 延迟越界、token 激增、HTTP 错误、网关 fallback 跳升),直接通过配置自动切回流量。软触发覆盖有噪声或滞后的信号(在线打分、等待延迟标签的"每次成功成本"、用户改写率),暂停放量交人工审阅——避免打分器一次抖动就把健康版本回滚掉。

还有一条容易被忽略:如果线上回滚触发了,把流量切回去只是停止新增错误。想清理坏窗口期里写入的批处理标签或 Agent 操作,前提是每个请求都记录了当时解析出的 prompt 版本和模型版本。Trace 里带上这两个字段,"坏版本碰过什么"就从一个猜测变成一条查询。

实战:把实时通话服务从 GPT-4o 迁走

这个服务跑在人工客服通话过程中,p95 延迟是 SLA 的一部分,输出是渲染到坐席桌面的结构化 JSON。完整迁移流程:

1. 先搞清楚升级行为。检查每个 Azure 部署的 versionUpgradeOption。没人设的话默认是 null,Azure 按 OnceCurrentVersionExpired 处理,也就是版本退役时自我升级。要么显式接受自动升级(等于接受一个在厂商日期上发生的未审发布),要么设 NoAutoUpgrade(等于自己扛截止日——固定版本到点直接停服)。把候选模型另起一个部署,确认每条 trace 都记录了 prompt 和模型版本,写下回滚阈值。

2. 离线冠军-挑战者。用 golden set 对旧模型和候选各跑多轮,比质量、schema 合法性、延迟、token 量。为新模型做的每一处 prompt 调整都算一个新挑战者版本,整套重跑。

3. 影子采样线上流量。把小比例通话请求异步发给挑战者(在请求路径之外)——agent-assist 是只读的,没有重复写风险。样本够了就关掉。

4. 按人工团队灰度。把一个客服团队整体切到挑战者,而不是随机切 5% 请求。这样坐席在一个班次里面对的是一致的行为,主管也有干净的反馈基线,同时挂着自动硬回滚。

5. 边放量边留冠军。每一步都攒够被评分的交互再扩人群,GPT-4o 部署一直留作瞬时回滚目标,直到退役窗口关闭。

6. 过期前验证新 fallback。在 GPT-4o 消失、不再是回滚目标之前,让另一个厂商/模型家族的备用模型跑完同样的离线和 schema 关卡。在 LiteLLM 里它进 fallbacks 列表——里面任何一个都必须和主模型过同样的关。

两个被改掉的旧假设

一是 prompt 版本、模型版本、路由配置是一个不可拆的发布制品,要一起测、一起记、一起回滚。二是托管回滚目标有保质期,日期在厂商手里,发布工程从"保住上一个构建"变成"在你需要之前就验好下一个 fallback"。

这套方法针对托管商业 API,不覆盖自托管开放权重模型(你能控制镜像仓库,可以做真正的蓝绿模型替换),也没算微调模型(OpenAI 和 Azure 的退役日不同, successors 上还要重训),以及换一个模型就改变下游输入的多 Agent 流水线。下次规划 LLM 发布,先写下"变的是哪个制品"和"下个月回滚目标还在不在",让答案决定你怎么发。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

目录
  • 蓝绿、灰度、影子发布到了 LLM 时代全都变了味
    • 为什么经典发布模式在这里会卡壳
    • 按"变的是什么"选策略,而不是一套流程用到底
    • 把回滚阈值写成硬指标和软指标
    • 实战:把实时通话服务从 GPT-4o 迁走
    • 两个被改掉的旧假设
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档