换了模型、改了 Prompt，怎么知道线上没变差？用影子流量回放给 AI 功能做一次改版体检

一次只想「让回答更礼貌」的 Prompt 微调上线了。离线那几十条手写用例全绿，评审顺利签字，灰度放量。可几天后翻线上日志才发现：某一类问题的拒答率悄悄往上爬，平均回答长度也短了一截——模型变「客气」了，客气到该答的也开始打太极。