客服邮件的处理链路一直很贵:一封邮件进来,不管难易都走一遍大模型,长回复、工具调用、人工复核,单封成本下不来。后来加了几道判定闸,把明显的事情在前面拦掉,成本确实降了一截。
但过程比预想的折腾。记录一下,包括三个我踩过的坑。
加闸之前我算过一笔账,不然没法判断值不值。
判定模型判一次,输入短、输出只有几个 Token。所以逻辑很简单:先用便宜的筛一遍,只把真正需要的交给贵的。
反过来,如果某个环节后面本来就不贵,加判定就是白加。我一开始想给"邮件标题是否需要重写"也加一道,算完发现后面那步几乎不花钱,直接砍了。
一封邮件在我们这里的实际路径是这样的:
排布上有两个实现细节值得说:
skip_if 分支,别让流水线强制走满。我最早的做法是找一个"看起来靠谱"的数字。网上能看到各种建议值,我挑了个 0.7 就上线了。
结果第一天就出问题:投诉类邮件被归进了归档文件夹,两天后才有人翻到。我们复盘时发现,问题不在 0.7 这个数字本身,而在于我拿的是别人的场景数据。
不同判断的代价差得太远:投诉归档晚两天发现,还能挪回来;而工具门控要是放行了删库操作,当场就出事。这两类判断哪怕模型准确率一样,阈值也必须各定各的。
所以问题应该反过来问:这件事错一次要赔多少?
按这个思路,我们内部把动作按可挽回程度排了个序,阈值跟着变严:
第二个坑更隐蔽。我看模型返回 0.9 就以为十次里九次对,实际不是。
那个数只是它对自己所选答案的把握,和真实正确率隔着一段距离,这段距离必须拿标注数据量出来。
我写了个分桶脚本,把模型输出按置信度分区间,再看每个区间里实际答对的比例:
from collections import defaultdict
def bucket_report(samples, edges=(0.0, 0.5, 0.7, 0.8, 0.9, 0.95, 1.01)):
"""samples: [{"conf": 0.93, "correct": True}, ...]
按置信度分桶,看每一档的实际精度和样本量
"""
buckets = defaultdict(lambda: {"n": 0, "hit": 0})
for s in samples:
for lo, hi in zip(edges, edges[1:]):
if lo <= s["conf"] < hi:
b = buckets[(lo, hi)]
b["n"] += 1
b["hit"] += int(s["correct"])
break
for (lo, hi), b in sorted(buckets.items()):
if b["n"] == 0:
continue
print(f"[{lo:.2f},{hi:.2f}) n={b['n']:4d} 精度={b['hit']/b['n']:.3f}")跑完就知道两件事:门槛定在哪,能自动处理多少;那一档的精度够不够。 同一个模型换个门槛,等于换了个用法。
公开评测里有一组现成的数可以对照:某数据集整体首选命中率只有 0.558;门槛提到 0.8,能自动处理 34% 的样本,这一批精度 0.92。我当时拿这组数做参照,发现自己的分布形状类似,才敢把线定在 0.8。
还有一个统计上的注意点:要看每个区间里有多少样本。我有一档只有 7 条样本,精度看着 100%,纯属波动,不能当结论。
第三个坑出在工具门控上。
有次模型判断"这个调用不用批",置信度给了 0.96,我们放行了。事后发现那个工具是改数据的——模型没说错,它确实有把握,但它判断的是"这个调用看起来常规",不是"这个操作可撤销"。
所以门控这里,置信度之外必须另配一层:
IRREVERSIBLE = {"delete_record", "update_price", "refund"}
IRREVERSIBLE_PARAM_RISK = {"sql_exec", "shell_run"} # 参数可能含删改
def looks_destructive(args) -> bool:
"""按你自己的工具参数规则实现:命中删改关键字/危险表名就返回 True
这里只留桩,未实现时返回 None(假值),行为安全。
"""
...
def gate(tool_call, conf, threshold=0.8):
# 1. 白名单优先:撤不回的调用不进判定,直接交人工
if tool_call.name in IRREVERSIBLE:
return "manual"
# 2. 高危工具,看参数
if tool_call.name in IRREVERSIBLE_PARAM_RISK and looks_destructive(tool_call.args):
return "manual"
# 3. 其余按置信度
return "auto" if conf >= threshold else "manual"这段逻辑的关键是白名单在第一顺位。模型报的概率再高,也拦不住"这个工具本身就不该自动放行"这件事。
模型升级,线全废。 我们换过一次判定模型版本,阈值 0.8 没动,结果自动处理比例从三成掉到不足两成。重新标了一批数据才发现,新版本的置信度分布整体左移了。所以阈值必须和模型版本绑定,版本一换就得重测。
这件事有公开数据可以佐证:某次复现实验里,同一批题只把选项顺序打乱,准确率就从 72% 掉到 21%。模型对呈现方式敏感,这个不是理论风险。
它不会说"不知道"。 我原本想让模型"没把握时转人工",结果它从来不这么选。后来才明白:转人工这个动作必须写成选项之一,它才有机会选。现在我们的判定提示词里固定带三个选项,其中一个是"转人工",并且要求低置信度时优先选它。
第一次接入千万别把九个场景全开。我的做法是从收件箱里挑一个文件夹做分流,因为它离数据最近,错了也收得回来。
跑顺之后再调的顺序是:先看误判有没有超出可接受范围、还剩多少人工,再挪阈值;挪完还不达标,才考虑换模型。
扩展的时候注意一件事:不同文件夹的数据分布不一样。我们在售后邮件上调好的线,直接搬到投诉邮件上就偏松了,得重新标一轮。
判定模型插进流水线,省下的是后面那几步;它自己不产生内容,也不解释理由。
真正要交出去的东西,不是一张场景清单,而是几组阈值,加上它们的模型版本号和支撑它们的测量数据。清单谁都能抄,线得自己量。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。