首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >我在邮件流水线里加了五道判定闸,最后把阈值定在 0.8

我在邮件流水线里加了五道判定闸,最后把阈值定在 0.8

原创
作者头像
Archive
发布于 2026-11-19 15:51:11
发布于 2026-11-19 15:51:11
230
举报
文章被收录于专栏:随笔随笔

客服邮件的处理链路一直很贵:一封邮件进来,不管难易都走一遍大模型,长回复、工具调用、人工复核,单封成本下不来。后来加了几道判定闸,把明显的事情在前面拦掉,成本确实降了一截。

但过程比预想的折腾。记录一下,包括三个我踩过的坑。

一、先算清楚后面那一步有多贵

加闸之前我算过一笔账,不然没法判断值不值。

  • 大模型写一段回复:按输出长度计费,长回复比短回复贵好几倍。
  • 大模型调一次工具:要带完整工具定义,还要处理失败重试,一轮来回的成本比纯对话高。
  • 请人复核:按分钟算,比前两项贵一个量级。

判定模型判一次,输入短、输出只有几个 Token。所以逻辑很简单:先用便宜的筛一遍,只把真正需要的交给贵的。

反过来,如果某个环节后面本来就不贵,加判定就是白加。我一开始想给"邮件标题是否需要重写"也加一道,算完发现后面那步几乎不花钱,直接砍了。

二、五道闸装在哪

一封邮件在我们这里的实际路径是这样的:

  • 第 1 道 · 护栏:看有没有提示词注入、有没有越界请求。
  • 第 2 道 · 分流:常见问题走模板,剩下的交给大模型。
  • (大模型出手):生成工具调用,或直接写回复。
  • 第 3 道 · 工具门控:调用发出去之前,判断要不要人工批。
  • (工具执行完):回复成形。
  • 第 4 道 · 置信度门:送出之前判断,直接回还是升级给人。
  • 第 5 道 · 事后评测:抽样打分,不在实时链路里。

排布上有两个实现细节值得说:

  • 护栏和分流看的是同一封邮件,我把它们并在一次请求里发出去了,输入带两份判断指令,省掉一次调用。
  • 工具门控必须等模型把调用提出来,置信度门必须等回复成形,这两道没法提前,只能串在后面。
  • 不用工具的邮件,工具门控和置信度门这两道直接跳过。代码里我留了一个 skip_if 分支,别让流水线强制走满。

三、坑一:阈值照搬别人的

我最早的做法是找一个"看起来靠谱"的数字。网上能看到各种建议值,我挑了个 0.7 就上线了。

结果第一天就出问题:投诉类邮件被归进了归档文件夹,两天后才有人翻到。我们复盘时发现,问题不在 0.7 这个数字本身,而在于我拿的是别人的场景数据。

不同判断的代价差得太远:投诉归档晚两天发现,还能挪回来;而工具门控要是放行了删库操作,当场就出事。这两类判断哪怕模型准确率一样,阈值也必须各定各的。

所以问题应该反过来问:这件事错一次要赔多少?

按这个思路,我们内部把动作按可挽回程度排了个序,阈值跟着变严:

  • 批出草稿:错了人看一眼就改,线最松。
  • 归进某个文件夹:晚发现一两天能挪回来,线中等。
  • 自动回一句样板话:客户当面看到,线要收紧。
  • 放行一次改数据的工具:直接不自动放行,全交人工。

四、坑二:把置信度当成了正确率

第二个坑更隐蔽。我看模型返回 0.9 就以为十次里九次对,实际不是。

那个数只是它对自己所选答案的把握,和真实正确率隔着一段距离,这段距离必须拿标注数据量出来。

我写了个分桶脚本,把模型输出按置信度分区间,再看每个区间里实际答对的比例:

代码语言:python
复制
from collections import defaultdict

def bucket_report(samples, edges=(0.0, 0.5, 0.7, 0.8, 0.9, 0.95, 1.01)):
    """samples: [{"conf": 0.93, "correct": True}, ...]
    按置信度分桶,看每一档的实际精度和样本量
    """
    buckets = defaultdict(lambda: {"n": 0, "hit": 0})
    for s in samples:
        for lo, hi in zip(edges, edges[1:]):
            if lo <= s["conf"] < hi:
                b = buckets[(lo, hi)]
                b["n"] += 1
                b["hit"] += int(s["correct"])
                break

    for (lo, hi), b in sorted(buckets.items()):
        if b["n"] == 0:
            continue
        print(f"[{lo:.2f},{hi:.2f})  n={b['n']:4d}  精度={b['hit']/b['n']:.3f}")

跑完就知道两件事:门槛定在哪,能自动处理多少;那一档的精度够不够。 同一个模型换个门槛,等于换了个用法。

公开评测里有一组现成的数可以对照:某数据集整体首选命中率只有 0.558;门槛提到 0.8,能自动处理 34% 的样本,这一批精度 0.92。我当时拿这组数做参照,发现自己的分布形状类似,才敢把线定在 0.8。

还有一个统计上的注意点:要看每个区间里有多少样本。我有一档只有 7 条样本,精度看着 100%,纯属波动,不能当结论。

五、坑三:光有分数不够,还得有白名单

第三个坑出在工具门控上。

有次模型判断"这个调用不用批",置信度给了 0.96,我们放行了。事后发现那个工具是改数据的——模型没说错,它确实有把握,但它判断的是"这个调用看起来常规",不是"这个操作可撤销"。

所以门控这里,置信度之外必须另配一层:

代码语言:python
复制
IRREVERSIBLE = {"delete_record", "update_price", "refund"}
IRREVERSIBLE_PARAM_RISK = {"sql_exec", "shell_run"}   # 参数可能含删改

def looks_destructive(args) -> bool:
    """按你自己的工具参数规则实现:命中删改关键字/危险表名就返回 True
    这里只留桩,未实现时返回 None(假值),行为安全。
    """
    ...

def gate(tool_call, conf, threshold=0.8):
    # 1. 白名单优先:撤不回的调用不进判定,直接交人工
    if tool_call.name in IRREVERSIBLE:
        return "manual"
    # 2. 高危工具,看参数
    if tool_call.name in IRREVERSIBLE_PARAM_RISK and looks_destructive(tool_call.args):
        return "manual"
    # 3. 其余按置信度
    return "auto" if conf >= threshold else "manual"

这段逻辑的关键是白名单在第一顺位。模型报的概率再高,也拦不住"这个工具本身就不该自动放行"这件事。

六、两个我没想到的

模型升级,线全废。 我们换过一次判定模型版本,阈值 0.8 没动,结果自动处理比例从三成掉到不足两成。重新标了一批数据才发现,新版本的置信度分布整体左移了。所以阈值必须和模型版本绑定,版本一换就得重测。

这件事有公开数据可以佐证:某次复现实验里,同一批题只把选项顺序打乱,准确率就从 72% 掉到 21%。模型对呈现方式敏感,这个不是理论风险。

它不会说"不知道"。 我原本想让模型"没把握时转人工",结果它从来不这么选。后来才明白:转人工这个动作必须写成选项之一,它才有机会选。现在我们的判定提示词里固定带三个选项,其中一个是"转人工",并且要求低置信度时优先选它。

七、我是怎么从一百封扩上去的

第一次接入千万别把九个场景全开。我的做法是从收件箱里挑一个文件夹做分流,因为它离数据最近,错了也收得回来。

  1. 人工标了一百三十封邮件,"该走哪条路"当标准答案。
  2. 让模型对同一批跑一遍,输出置信度。
  3. 跑上面那个分桶脚本,看每档的实际精度。
  4. 确认把握和正确率的关系可信之后,才逐档算自动处理比例。

跑顺之后再调的顺序是:先看误判有没有超出可接受范围、还剩多少人工,再挪阈值;挪完还不达标,才考虑换模型。

扩展的时候注意一件事:不同文件夹的数据分布不一样。我们在售后邮件上调好的线,直接搬到投诉邮件上就偏松了,得重新标一轮。

小结

判定模型插进流水线,省下的是后面那几步;它自己不产生内容,也不解释理由。

真正要交出去的东西,不是一张场景清单,而是几组阈值,加上它们的模型版本号和支撑它们的测量数据。清单谁都能抄,线得自己量。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

目录
  • 一、先算清楚后面那一步有多贵
  • 二、五道闸装在哪
  • 三、坑一:阈值照搬别人的
  • 四、坑二:把置信度当成了正确率
  • 五、坑三:光有分数不够,还得有白名单
  • 六、两个我没想到的
  • 七、我是怎么从一百封扩上去的
  • 小结
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档