RAG 上线不是终点,真正磨人的是它跑起来之后的样子。某天早上告警响起:召回掉了、上下文爆了、引用张冠李戴、账单一夜涨了十倍。你以为这是偶发故障,其实每一种都有迹可循。RAG 的失败模式高度可重复,提前布防远比事后救火划算。这篇文章不聊方法论鸡汤,只把我们踩过的五个坑拆开讲透:机制、监控信号、修复手段,以及上线前最该补的那场演练。每个坑都给了监控信号和修复代码,方便你直接照着布防。

召回是 RAG 的地基。地基漏了,上层模型再聪明也救不回来。最典型的事故是:用户问的东西,知识库里明明有答案,检索阶段却没把那段捞回来。模型面前只有一个空盘子,它不会老实说"我没料",而是开始自由发挥。
机制
监控信号
修复手段
从"单路向量"升级为"混合检索 + query 改写 + 扩召回再重排":
# 召回不足:混合 + 改写 + 扩召回 + 重排
candidates = bm25_search(query) ∪ vector_search(query, k=20) # 先混合
rewritten = llm_rewrite(query) # query 改写对齐表述
candidates += vector_search(rewritten, k=20)
expanded = dedupe(top_k(candidates, k=50)) # 先扩召回
ranked = rerank(expanded, query, k=8) # 再精排压回可控量
if not ranked:
return FALLBACK_ANSWER # 兜底,而不是硬编反例 只接了一个 dense vector store 就信心满满上线。碰到带版本号、错误码的硬词 query,召回率断崖式下跌,答案开始凭空编报错的解决步骤。用户在评论区贴出"你给的步骤文档里根本没有",这才回头补 BM25。

另一头是贪心。团队为了"不让模型漏看",把 top-50 的 chunks 全塞进 prompt。结果要么超 token 被截断,要么触发注意力稀释,中间一大段模型根本没正眼瞧。
机制
监控信号
修复手段
压缩、分层、严格裁剪三件套:
# 上下文超限:按预算裁剪 + 低优先压缩
def build_context(chunks, token_budget=6000):
chunks.sort(key=lambda c: c.score, reverse=True)
ctx, used = [], 0
for c in chunks:
if used + c.tokens <= token_budget:
ctx.append(c); used += c.tokens
else:
summary = compress(c) # 超限的低价 chunk 压成摘要
if used + summary.tokens <= token_budget:
ctx.append(summary); used += summary.tokens
return ctx # 永远不超预算反例 为了"显著性"把所有召回原样堆叠,关键结论放在第 18 个 chunk 中间。用户问一个明确数字,模型答非所问。debug 时发现那段就在被稀释的中段,首尾全是噪声。

比编答案更隐蔽的是假引用。答案读起来有凭有据:"根据《部署手册》第 3.2 节,应先关停网关"。你去翻第 3.2 节,写的却是数据库备份。引用是假的,出处是编的,用户信了,后果比纯幻觉还严重,它披着可信的外衣。
机制
监控信号
修复手段
强制引用约束 + 溯源校验:
# 幻觉引用:生成后逐论断回查证据
answer = generate(query, cited_chunks)
for claim in extract_claims(answer):
cid = claim.citation_id
if not has_evidence(claim.text, cited_chunks[cid]):
claim.flag = "UNVERIFIED" # 标记不可信
# 或触发 regenerate,并限制最多重试 2 次
if too_many_unverified(answer):
answer = reanswer_with_stricter_constraint(query, cited_chunks)反例 prompt 里写"请为每句话标注引用",却没校验引用真实性。模型为了合规给每句都加了 1,数字和段落对不上也没人发现,直到一个细心用户逐条核对,在群里甩出截图。

前三节讲"对不对",这一节讲"贵不贵"。RAG 每次请求的真实成本 = 检索调用 + 重排模型调用 + 长上下文生成。平时觉得不贵,一旦QPS 上来,账单是线性甚至超线性地涨。
机制
监控信号
修复手段
语义缓存 + 召回层数控制 + 小模型粗排:
# 成本爆炸:缓存 + 小模型粗排省钱
key = semantic_hash(query) # 语义去重,不是字面相等
hit = cache.get(key)
if hit:
return hit # 命中即返回,省下全部下游调用
coarse = small_model_rank(candidates, k=10) # 便宜模型粗排 top-10
fine = large_model_rank(coarse, k=3) # 贵模型只排 top-3
answer = generate(query, fine)
cache.set(key, answer, ttl=3600)反例 上线时日活几十,账单几十块,没人管成本。一次运营活动把 QPS 推到 20 倍,重排模型调用随之翻 20 倍,月底账单是预算的 13 倍。要是早接语义缓存和粗排,至少砍掉六成调用。
最后一个坑不在技术细节,在时间。知识库刚建起来时,覆盖是残缺的。你问 A,它没收录;问 B,只收了一半。这时候模型信心满格地答错,比"我不知道"危害更大,它错得理直气壮。
机制
监控信号
修复手段
兜底话术 + 明确"我不知道" + 知识边界:
# 冷启动:置信门限 + 兜底,宁可说不知道
best = ranked[0]
if best.score < CONFIDENCE_THRESHOLD:
return "这个问题我暂时没有足够资料,已记录并转人工补充"
if best.score < SOFT_THRESHOLD:
return f"以下信息可能不完整:{generate(query, best)}"
return generate(query, ranked) # 高置信才正常答反例 知识库上线第一天就接到全员试用,大家问了一堆新功能文档还没上传的问题。系统答得斩钉截铁,三个部门同事照着错答案做了配置,返工成本比重新建库还高。

正解:上线前把五个失败模式各造一组对抗样本,跑一遍看系统怎么崩、怎么兜底。把"无引用命中率""引用可溯源率""单次成本 P95"钉成看板,事故还没发生就能看见趋势。提前布防,胜过事后救火。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。