首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >企业知识库接了大模型,为什么还是答不准?RAG 落地的五个验收关口

企业知识库接了大模型,为什么还是答不准?RAG 落地的五个验收关口

原创
作者头像
启威
发布于 2026-11-19 16:58:17
发布于 2026-11-19 16:58:17
200
举报

把制度、产品手册和运维文档导入知识库,接上大模型,再加一个聊天界面,一个企业知识问答系统就能演示了。但员工真正开始使用后,问题往往接踵而来:回答引用了已经废止的制度;能找到产品介绍,却答不出适用条件;明明列出了来源,结论却不是来源里说的;换一个部门的账号,还能看到不该看到的资料。

企业 RAG 项目是否可用,不能只看「模型有没有回答」,还要看它是否找到了正确版本的证据、遵守了权限,并在证据不足时停止下结论。本文以内部制度问答为设计示例,梳理五个验收关口。示例字段、场景和验收方法不代表某家企业的真实项目数据。

一、知识入口:文档存在,不等于知识有效

RAG(检索增强生成)通常先从外部资料中检索相关内容,再把这些内容交给模型生成回答。它能够为回答提供依据,但不会自动解决企业资料中的版本冲突和口径问题。

假设知识库里有三份差旅制度:总部最新版、区域补充规定,以及没有标注废止时间的旧版本。员工问「出差住宿能报多少」,语义相似度最高的片段未必是对这个人、这个时间有效的规定。

因此,导入时除了正文,还应维护文档身份、版本、适用范围和负责人。可以从下面这组字段开始:

  • doc_id:文档标识
  • version:版本号
  • status:是否生效
  • effective_from / effective_to:生效与失效时间
  • scope:适用范围
  • owner:负责人
  • source_uri:原始文档位置
  • indexed_at:最近成功入库时间

这些字段只是示意,实际设计还应包含租户、访问权限和稳定的片段标识。历史问题可能需要历史版本,不能简单把旧文档全部删除。

这一关的验收:制度更新、废止或删除后,索引是否同步?旧片段和回答缓存是否失效?同步失败有没有人收到提示?知识库需要持续维护的责任人。没有人确认哪一版有效,再好的检索也只能在互相矛盾的资料里选答案。

二、权限过滤:先决定能看什么,再决定回答什么

不要先把所有相关资料塞进模型,再在提示词里写「不要泄露其他部门的信息」。未经授权的内容一旦进入上下文,就已经越过了这次问答应有的数据边界。

查询应带上经过服务端认证的用户身份和组织上下文,由检索服务执行相应的授权检查。Microsoft 的文档级访问控制说明介绍了通过安全过滤器、权限元数据等方式限制可检索文档的思路,具体能力和配置取决于所用产品。

权限不能由用户在聊天里自报,也不能由模型自行判断。切片、重排、引用预览等步骤,都需要维持原有的访问边界。

这一关的验收:同一个问题换不同部门、租户和权限的账号运行;再撤销某账号的权限,检查检索结果、引用链接和缓存回答是否同步受限。如果使用回答缓存,缓存命中也要执行当前授权检查——仅把问题文本当缓存键,可能把甲用户的答案返回给乙用户。引用源文件本身也必须受到访问控制。

三、检索质量:先看证据是否到位,再调整生成提示词

「回答错误」只是现象,需要继续拆解:

  • 资料中没有答案:应补知识或缩小服务范围。
  • 资料有答案,但没有检索到:应检查解析、切片、查询和排序。
  • 检索到了相关内容,但条件不完整:应补齐上下文或调整片段组织方式。
  • 证据齐全,生成却理解错了:再检查生成指令、模型和验收逻辑。

例如,「住宿上限」的金额在表格里,适用城市在表头,特殊审批要求在表格下方。如果解析后只留下金额,模型拿到的证据本身就是残缺的。

另一个常见情况是型号、错误码和内部缩写。它们不只是语义问题,也涉及精确匹配。可以把关键词检索、向量检索和混合检索作为候选方案,在自己的问题集上比较,不要预设某一种一定最好。

这一关的验收:为样本问题标注应命中的文档与必要证据,检查前 K 个结果是否覆盖这些证据,并记录无关内容和缺失条件。K、切片长度和重排方式应通过验证选择。长文档也不适合只靠统一字数切片,标题、表格结构、章节条件和跨段引用,都会影响片段能否独立支持回答。

四、生成约束:有引用,不代表结论有依据

回答末尾列出几个链接,只能说明它展示了来源。真正需要核对的是:来源是否支持这条具体结论?

比如资料写的是「符合条件并经过审批后可报销」,回答却说「所有员工均可报销」。即使链接完全正确,结论仍然扩大了适用范围。

可以要求系统按下面的结构组织输出:

  • 结论:在已知适用条件下可以确认的内容
  • 依据:支持每条关键结论的文档、版本及片段
  • 适用条件:地区、岗位、时间等限制
  • 未知项:缺少的信息与尚未解决的冲突
  • 下一步:需要用户补充的问题或人工确认入口

用户没有说所在地区,而政策按地区区分,就应该先追问。两份有效资料冲突,就应指出冲突并转交负责人;资料不足时应说明无法确认。「请仅依据资料回答」可以表达要求,但不是可靠性的保证。知识片段本身也可能夹带指令,系统应把检索内容视为待引用的数据,避免让它改变工具权限或系统规则。

这一关的验收:逐条检查事实性结论与证据的对应关系,特别关注金额、时间、例外、否定和条件句。程序可检查引用标识有效性,业务人员需要判断证据是否真的支持结论。

五、效果评估:把检索、回答和业务结果分开看

不要用一次演示中「十个问题都答得不错」作为上线依据。可以先构建一个覆盖主要业务边界的小型问题集,再随着实际使用补充。建议至少包含六类样本:

  • 正常问法:资料齐全,能够明确作答。
  • 口语或缩写:与文档措辞不同,但含义一致。
  • 条件缺失:需要追问后才能回答。
  • 资料冲突或过期:应识别版本与适用范围。
  • 无答案问题:应承认证据不足。
  • 越权问题:应阻止检索与引用未经授权的资料。

每个样本应记录用户身份、提问时间、有效资料版本、必要证据和可接受的行为。预期行为可以是追问或转人工,不必每题都对应一段标准答案。

Microsoft 的 RAG 评估文档区分了检索过程与最终回答的评估。这对排障很有帮助:检索结果是否相关,与回答是否忠于证据,是两个不同的问题。模型评分可以辅助筛选待审样本,但不要把它当成业务事实。关键结论仍需可追溯证据和业务复核,评估规则也要随版本记录。

这一关的验收:每次调整模型、切片、排序或提示词后,用固定样本做回归;分别查看检索覆盖、结论依据、追问与拒答表现、响应时间和成本。对越权样本,还要单独验证权限控制。

技术与业务怎样分工

技术团队负责解析、检索、权限执行、监控和评估工具;业务负责人确认文档有效性、答案边界和冲突处理;使用者提供真实问题及修正反馈。

反馈也要归因。错误来自文档,就修改知识;来自检索,就调整检索;来自条件缺失,就改善追问;来自组织没人确认口径,就明确责任。把所有错误都归为「模型不够聪明」,很难找到可执行的改进动作。

试点可以先选一个边界清楚、资料有负责人的内部场景。先验收资料和权限,再离线评估,随后小范围开放;不要一开始就把所有文档导入并承诺回答所有问题。

我在《会问、会用、会委托、会编排:员工用 AI 的四级与 60 分奇点》中讨论过,AI 从辅助个人走向完整任务,需要同时改变交接方式和验收标准。企业知识库也是一样:一个聊天入口只是开始,知识维护、权限和业务验收有人负责,系统才有持续改善的基础。

下一次验收企业 RAG 项目,可以先问:当资料过期、条件不足或权限不够时,系统会怎样处理?

作者:刘启威,AI 转型顾问。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

目录
  • 一、知识入口:文档存在,不等于知识有效
  • 二、权限过滤:先决定能看什么,再决定回答什么
  • 三、检索质量:先看证据是否到位,再调整生成提示词
  • 四、生成约束:有引用,不代表结论有依据
  • 五、效果评估:把检索、回答和业务结果分开看
  • 技术与业务怎样分工
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档