用 WorkBuddy 调试电商售后客服 LLM：发票咨询场景从 0 到 1 实战

一、背景：为什么发票咨询是最难调的客服场景

电商售后客服里，发票类咨询是出了名的"看着简单、做起来头大"：

• 问法千奇百怪："发票怎么开"、"能开电子发票吗"、"发票抬头写公司还是个人"、"开票要等多久"、"上个月的发票还能补开吗"……同一件事，用户能问出几十种说法；
• 答案依赖上下文：能不能开、开什么抬头、多久到账，取决于订单状态、购买时间、支付方式，不是一个固定话术能覆盖的；
• 容易引发投诉：发票涉及报销、税务，用户对准确性极其敏感，答错一句就是差评+投诉。

我们当时要在 AI agent 平台上搭建一个售后客服机器人，第一优先级就是吃下发票咨询。本文记录我们整个调试过程，以及 WorkBuddy 在其中扮演的角色——从意图分类设计，到逐版迭代调优，再到 Agent 上线和接口对接。

二、需求拆解：8 类发票意图怎么定出来的

动手写 prompt 之前，先做了意图分类设计。这一步直接决定后面所有工作的地基，宁可多花时间也不能省。

我们最终把发票咨询拆成 8 个意图类别：

设计原则就一条：意图之间要互斥、可穷尽。两个意图定义重叠，模型就会"左右横跳"；漏掉常见场景，用户就会被兜底类别打回去，体验断崖式下跌。

WorkBuddy 在这里的用法：把客服历史聊天记录（Excel 导出）直接丢给 WorkBuddy 做聚类分析，让它先自动归纳出高频问法，我们再人工复核、合并、去重，最终定稿 8 类。比起纯人工翻聊天记录，这一步至少省了 2 个小时，而且不会漏掉低频但关键的问法。

三、逐版迭代调试：截图 + 提示词的"笨办法"其实最有效

意图分类定了，真正的硬仗才刚开始——prompt 怎么写，优先级怎么排，回复质量怎么保证。

我们的调试方法很朴素，但非常有效，核心流程是：

1. 构造测试集：每类意图准备 10-20 条真实用户问法，覆盖正常问法、口语化问法、长句、错别字；
2. 批量跑测：把测试集喂给当前版本的 workflow，看分类结果和回复；
3. 截图记录：把识别错误、回复跑偏的 case 截图保存，一条条过；
4. 改 prompt：针对错误 case 调整意图描述、示例话术、优先级顺序；
5. 回归验证：改完重跑整个测试集，确认没把原来对的改错。

这套流程看着简单，但每一步都有讲究：

优先级匹配是最大的坑。 8 个意图不是平等的——比如"发票怎么开"和"发票抬头写什么"，用户可能一句"我要开发票，抬头写公司"同时命中两个意图。如果匹配顺序错了，模型可能只答开票流程，漏掉抬头信息。我们的解法是：在 workflow 里显式配置意图优先级，把"具体操作类"排在"流程咨询类"前面，并用多条冲突问法专门测试边界情况。

统计口径不能乱。 调试过程中发现，不同版本之间对比效果时，如果测试集变了、或者人工判断标准变了，得出的"改善"结论就是假的。后来定死规矩：测试集固定、判断标准固定，只允许改 prompt，数据才有可比性。这件事上吃过亏，深有体会。

WorkBuddy 在这里的用法：每次改 prompt 后，把"改前话术 + 错误 case + 期望输出"一起贴给 WorkBuddy，让它先给出修改建议，人工确认后再落到 workflow 里。它特别擅长从模糊的业务描述里抓出「这句话哪里会让模型误判」这种问题，等于多了个免费的 prompt 评审。

四、Agent 上线与接口对接：最后一公里最容易翻车

prompt 调得差不多了，接下来是上线，这一步我们把坑踩了个遍。

1. 上线前验收清单：8 类意图的测试集全量跑一遍，错误率控制在目标值内才允许上线；同时把"改后回复是否让用户满意"纳入人工抽检，而不是只看分类对不对。
2. 接口对接：我们对接的是班牛接口，用于工单同步和开票信息回传。这里最关键的教训是——接口字段务必逐项核对，别信文档，要信实测。字段名差一个字母、类型对不上，线上就是一堆脏数据。
3. 灰度观察：上线后不是撒手不管，而是持续抽检真实会话，把模型答得不好的 case 继续回收进测试集，形成"上线-抽检-回流-再调"的闭环。

WorkBuddy 在这里的用法：接口对接时，把接口文档 PDF 丢给它，让它把字段清单、必填项、校验规则整理成结构化表格，对照着逐项联调，比人肉翻文档靠谱得多。

五、效果与复盘

（示例数据，请按你的真实数据替换后发布）

复盘下来，几个最重要的经验：

1. 意图分类是地基，分类设计不好，后面所有调优都是打补丁；
2. 测试集固定、口径固定，迭代才有意义，否则你只是在自嗨；
3. 截图 + 提示词的笨办法，比任何花哨技巧都管用；
4. AI 工具的价值在"提效"而不在"替人"——WorkBuddy 帮我们把聚类分析、prompt 评审、文档整理这些脏活累活干掉了，省下的时间用来做真正需要判断力的事。

六、给同样在做客服 AI 的同学

如果你也在搭客服机器人，我的建议排序是：

1. 先花 70% 时间在设计上（意图分类、优先级、边界 case），20% 在调试，10% 在写代码；
2. 永远保留一个人工抽检环节，模型再准也不能全自动；
3. 把踩过的坑写下来，不管是自己看还是发出来，都有价值——就像这篇文章。