
传统软件的发布手册建立在一个安静的前提上:新版本在生产环境闯了祸,旧版本还躺在镜像仓库里,随时可以把流量切回去。但在托管大模型之上做系统,你其实是在借来的时间里奔跑——权重在厂商 API 后面,退役日期在别人的日历上,如果你让云端点保持默认设置,厂商甚至会在你没发版的情况下,直接在你的线上流量底下把模型升级掉。
OpenAI 已通知 GPT-4o 和 GPT-4.1 将于 2027 年 1 月 14 日从 API 移除,Azure OpenAI 给大多数版本定在 2027 年 4 月 14 日,并注明 Standard 部署会按区域随退役窗口自动升级。这类通知我一律当成变更请求来读:变了什么、会坏在哪里、怎么回退。而"怎么回退"这一问,正是 LLM 系统和传统交付分道扬镳的地方。
我在银行业做了十多年发布,最近几年在 OpenShift 上用蓝绿部署,写回滚方案。那些方案之所以管用,是因为我们拥有每一个制品,坏版本通常会通过 HTTP 500 或延迟飙升迅速自报家门。而在 LLM 系统里,"一次发布"可能是一次 prompt 修改、一次厂商模型替换、一次 embedding 索引重建、一个新 Agent 工具、或一个护栏阈值调整。它们的失败方式各不相同,而且往往返回 200 OK——更糟的是,托管模型一旦被厂商退役,你根本没法回滚。
逐个看经典模式的水土不服:
我的做法是从变更的制品出发,问它通常怎么失败,再问怎么撤销。三条经验:
1. 蓝绿只留给向量索引——两个制品都归我们,且能低成本并行运行。
2. 批处理任务可以通过回放历史输入干净地测试;Agent 工具改动则必须配按人群的开关和人工审批,因为影子状态下的写操作依然会改变外部状态。
3. 厂商换模型几乎总要对 prompt 做调整,才能维持格式和拒答行为。所以 prompt 版本、模型版本、路由配置是绑定在一起的单一制品,必须一起测试和回滚。
发布成功的定义是:候选者在质量、延迟、成本、稳定性上同时扛得住。事先把触发条件连同责任人和动作写下来,能避免事故现场的扯皮。
硬触发覆盖快速确定性信号(schema 失败、p95 延迟越界、token 激增、HTTP 错误、网关 fallback 跳升),直接通过配置自动切回流量。软触发覆盖有噪声或滞后的信号(在线打分、等待延迟标签的"每次成功成本"、用户改写率),暂停放量交人工审阅——避免打分器一次抖动就把健康版本回滚掉。
还有一条容易被忽略:如果线上回滚触发了,把流量切回去只是停止新增错误。想清理坏窗口期里写入的批处理标签或 Agent 操作,前提是每个请求都记录了当时解析出的 prompt 版本和模型版本。Trace 里带上这两个字段,"坏版本碰过什么"就从一个猜测变成一条查询。
这个服务跑在人工客服通话过程中,p95 延迟是 SLA 的一部分,输出是渲染到坐席桌面的结构化 JSON。完整迁移流程:
1. 先搞清楚升级行为。检查每个 Azure 部署的 versionUpgradeOption。没人设的话默认是 null,Azure 按 OnceCurrentVersionExpired 处理,也就是版本退役时自我升级。要么显式接受自动升级(等于接受一个在厂商日期上发生的未审发布),要么设 NoAutoUpgrade(等于自己扛截止日——固定版本到点直接停服)。把候选模型另起一个部署,确认每条 trace 都记录了 prompt 和模型版本,写下回滚阈值。
2. 离线冠军-挑战者。用 golden set 对旧模型和候选各跑多轮,比质量、schema 合法性、延迟、token 量。为新模型做的每一处 prompt 调整都算一个新挑战者版本,整套重跑。
3. 影子采样线上流量。把小比例通话请求异步发给挑战者(在请求路径之外)——agent-assist 是只读的,没有重复写风险。样本够了就关掉。
4. 按人工团队灰度。把一个客服团队整体切到挑战者,而不是随机切 5% 请求。这样坐席在一个班次里面对的是一致的行为,主管也有干净的反馈基线,同时挂着自动硬回滚。
5. 边放量边留冠军。每一步都攒够被评分的交互再扩人群,GPT-4o 部署一直留作瞬时回滚目标,直到退役窗口关闭。
6. 过期前验证新 fallback。在 GPT-4o 消失、不再是回滚目标之前,让另一个厂商/模型家族的备用模型跑完同样的离线和 schema 关卡。在 LiteLLM 里它进 fallbacks 列表——里面任何一个都必须和主模型过同样的关。
一是 prompt 版本、模型版本、路由配置是一个不可拆的发布制品,要一起测、一起记、一起回滚。二是托管回滚目标有保质期,日期在厂商手里,发布工程从"保住上一个构建"变成"在你需要之前就验好下一个 fallback"。
这套方法针对托管商业 API,不覆盖自托管开放权重模型(你能控制镜像仓库,可以做真正的蓝绿模型替换),也没算微调模型(OpenAI 和 Azure 的退役日不同, successors 上还要重训),以及换一个模型就改变下游输入的多 Agent 流水线。下次规划 LLM 发布,先写下"变的是哪个制品"和"下个月回滚目标还在不在",让答案决定你怎么发。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。