Agent渡劫48关-第45关-多模型Gateway到底应该怎么设计？原创

别争论网关要不要做多模型接入后故障成本版本谁负责？今天必须分出做什么不做什么。客户只关心三件事，回答别断，别答错，账单看得懂。网关做不到三条就是内部复杂度甩给客户。上周三个客户投诉全是模型超时后诊断失败，连重试提示都没有。我们要的是失败能说清，能降级，能追问。Light l LM o JA AI已给出统一抽象，但没有公开证据说全自动成本路由在多任务上稳定一期只解决一件事，一个任务只对应一个能力档。超时和失败进入固定降级路径，动态按成本路由不尽一期。A网关做适配，与语翼路由SDK全隔离，B网关只转发模型，由业务自己选。

A复杂度收在网关B算到每个页务，Steam规划比转发难10倍。流逝工具调用GS som模式各家都不一样，真要做我先要任务及契约和失败矩阵。现在没有机械模型，切换后准确率P95延迟单位成本都没记录，没有基限，任何路由都只是拍脑袋。自然流量入口是文档和API示力页模型能力要写进可被搜索的结构化说明，否则用户不知道已经切了模型。如果对外卖API我只投一条。转化事件首次成功调用泰克上线先按200元买点，没通知前一分钱不花。网关人力和推理成本要分开算，一期最多3个人6个月，超出就得砍动态多了最坏不能比现在多少一倍，最坏的死法是把降机写的。

太模，客户以为你还在用原模型，合同和界面必须写清模型族版本和降级提示线索，4个owner adapter、路由成本日志、金丝雀，每项交付必须有验收标准，否则又是人人参与，没人交付。听完工程和法务，我改口一期不承诺智能路由只承诺同一任务能力档内可换模型，降级必须在界面说清，这个我认，但降级路径必须带任务语仪，客服问答可以走小模型代码，工具调用不能，否则客户看到的是胡说八道。补一条，反正公开评测里统一prompt，换模型后工具调用成功率波动很大，能力约束必须写进路由表，不能只按价格范围重动预期做adaptor超时限流预算日志版本和同。

能力档切换不做跨档自动路由与并行投票最终选A的收敛版网关收口adaptor语意路由和降级牺牲极致灵活换来SDK隔离成本可见和版本准回给失败矩阵我来写超时限流skima不合法工具失败四类每类都有密等键补偿动作和重试上线杜绝诊断失败。成功线任务成功率不低于95%，P95延迟不退化一成，单位成本降两成，停止线连续2小时成功率低于9成。对外部分每个模型组写一页能力说明和降级事例加S蒂码标注验证指标是自然搜索进入文档后完成首次调用的人数，先投文档页再营销预算每月1万LAS低于已就停婚因必须追到。

具体模型版本，否则不加预算，预算线一期不超过3人，6个月推理成本环比增幅上限15%，超过就冻结动态路由回到固定能力档验收加2条降级提示，可审计模型版本与供应商入日志数据处理协议逐加签，不签的模型不进入油表owner adapter归Alex，路由硅Bob成本日志归David，金丝雀归mikec 2周验收脚本4周灰度议程失败自动回滚拍板做统一网关，只做能力当路由和固定降级不做自动成本入6周完成失败自动回滚，Owner不变。