
企业知识库问答经常遇到一种难查的错误:答案读起来通顺,引用也能点开,结论却用的是旧版本制度。检索增强生成(RAG)会先取资料,再让生成模型据此作答。定位错误时,可以对同一个问题回放三次,逐步确认正确证据在哪一环丢失。 RAG 原论文
以虚构的 IT 知识库为例,员工问“生产环境临时权限最多保留多久”。旧版手册写 24 小时,新版写 4 小时,而且后者仅适用于生产环境。先记录检索器返回的候选片段及其排名,同时保留文档版本、生效时间和章节位置。命中旧版的同名章节,应算作未命中有效证据。
首批评测可以从历史错答中挑几十题,标注每题的必要证据、有效版本和预期行为。把“前 K 条至少命中一份有效证据”的题目占比记为 Hit@K。遇到需要跨两份文档才能回答的问题,再统计全部必要证据到齐的比例。先检查文档是否入库、解析是否保留表头和例外条款,然后才考虑调整切片或检索方式。
命中检索候选以后,证据还可能在重排、去重和上下文裁剪时丢失。对同一次请求保留候选列表与最终上下文,核对证据 ID 和顺序。比如,重排把旧版提到首位,或者拼装上下文时保留了“4 小时”却截掉“仅限生产环境”,都会让模型给出看似合理的错答。
建议在评测日志里记录这些最小字段。证据 ID 可以由文档 ID、版本及章节位置组成。生产日志只留排查所需标识,正文按原有访问权限查阅。
{
"case_id": "temporary-access-01",
"expected_evidence": ["access-policy:v3:prod"],
"retrieved": ["access-policy:v2:prod", "access-policy:v3:prod"],
"in_context": ["access-policy:v2:prod"]
}这个示例里,正确证据已经被召回,问题落在候选到上下文之间。此时先检查重排、版本过滤和裁剪逻辑,再评估是否增加候选数量。
保持问题、模型和提示词一致,把上下文替换成人工标注的有效片段。检查三个结果:答案是否写出 4 小时,是否保留生产环境这一限定,引用能否支持具体结论。再用一条没有充分证据的问题验证,模型是否会提示资料不足。即使答对了数字,如果引用的是过期条款,这条用例也应判失败。
如果给足证据仍答错,就检查生成指令如何处理适用范围、版本冲突和拒答。若替换成有效证据后答对,回到实际上下文检查旧版干扰或关键信息被裁剪的情况。这个对照实验可以缩小排查范围,单次结果还应通过多条同类用例复核。
每次调整切片、重排或提示词时,用同一组问题和知识库快照跑基线与候选版本。并排记录检索命中率、上下文证据到齐率、答案和引用通过率,以及端到端 P95 延迟。尤其要单看旧版冲突、跨文档取证和无答案三组用例,避免总分上涨掩盖某一类退化。这样,当下一条错答出现时,可以直接问:正确资料有没有被找到,有没有被送进模型,最后有没有被正确使用?
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。