把制度、产品手册和运维文档导入知识库,接上大模型,再加一个聊天界面,一个企业知识问答系统就能演示了。但员工真正开始使用后,问题往往接踵而来:回答引用了已经废止的制度;能找到产品介绍,却答不出适用条件;明明列出了来源,结论却不是来源里说的;换一个部门的账号,还能看到不该看到的资料。
企业 RAG 项目是否可用,不能只看「模型有没有回答」,还要看它是否找到了正确版本的证据、遵守了权限,并在证据不足时停止下结论。本文以内部制度问答为设计示例,梳理五个验收关口。示例字段、场景和验收方法不代表某家企业的真实项目数据。
RAG(检索增强生成)通常先从外部资料中检索相关内容,再把这些内容交给模型生成回答。它能够为回答提供依据,但不会自动解决企业资料中的版本冲突和口径问题。
假设知识库里有三份差旅制度:总部最新版、区域补充规定,以及没有标注废止时间的旧版本。员工问「出差住宿能报多少」,语义相似度最高的片段未必是对这个人、这个时间有效的规定。
因此,导入时除了正文,还应维护文档身份、版本、适用范围和负责人。可以从下面这组字段开始:
这些字段只是示意,实际设计还应包含租户、访问权限和稳定的片段标识。历史问题可能需要历史版本,不能简单把旧文档全部删除。
这一关的验收:制度更新、废止或删除后,索引是否同步?旧片段和回答缓存是否失效?同步失败有没有人收到提示?知识库需要持续维护的责任人。没有人确认哪一版有效,再好的检索也只能在互相矛盾的资料里选答案。
不要先把所有相关资料塞进模型,再在提示词里写「不要泄露其他部门的信息」。未经授权的内容一旦进入上下文,就已经越过了这次问答应有的数据边界。
查询应带上经过服务端认证的用户身份和组织上下文,由检索服务执行相应的授权检查。Microsoft 的文档级访问控制说明介绍了通过安全过滤器、权限元数据等方式限制可检索文档的思路,具体能力和配置取决于所用产品。
权限不能由用户在聊天里自报,也不能由模型自行判断。切片、重排、引用预览等步骤,都需要维持原有的访问边界。
这一关的验收:同一个问题换不同部门、租户和权限的账号运行;再撤销某账号的权限,检查检索结果、引用链接和缓存回答是否同步受限。如果使用回答缓存,缓存命中也要执行当前授权检查——仅把问题文本当缓存键,可能把甲用户的答案返回给乙用户。引用源文件本身也必须受到访问控制。
「回答错误」只是现象,需要继续拆解:
例如,「住宿上限」的金额在表格里,适用城市在表头,特殊审批要求在表格下方。如果解析后只留下金额,模型拿到的证据本身就是残缺的。
另一个常见情况是型号、错误码和内部缩写。它们不只是语义问题,也涉及精确匹配。可以把关键词检索、向量检索和混合检索作为候选方案,在自己的问题集上比较,不要预设某一种一定最好。
这一关的验收:为样本问题标注应命中的文档与必要证据,检查前 K 个结果是否覆盖这些证据,并记录无关内容和缺失条件。K、切片长度和重排方式应通过验证选择。长文档也不适合只靠统一字数切片,标题、表格结构、章节条件和跨段引用,都会影响片段能否独立支持回答。
回答末尾列出几个链接,只能说明它展示了来源。真正需要核对的是:来源是否支持这条具体结论?
比如资料写的是「符合条件并经过审批后可报销」,回答却说「所有员工均可报销」。即使链接完全正确,结论仍然扩大了适用范围。
可以要求系统按下面的结构组织输出:
用户没有说所在地区,而政策按地区区分,就应该先追问。两份有效资料冲突,就应指出冲突并转交负责人;资料不足时应说明无法确认。「请仅依据资料回答」可以表达要求,但不是可靠性的保证。知识片段本身也可能夹带指令,系统应把检索内容视为待引用的数据,避免让它改变工具权限或系统规则。
这一关的验收:逐条检查事实性结论与证据的对应关系,特别关注金额、时间、例外、否定和条件句。程序可检查引用标识有效性,业务人员需要判断证据是否真的支持结论。
不要用一次演示中「十个问题都答得不错」作为上线依据。可以先构建一个覆盖主要业务边界的小型问题集,再随着实际使用补充。建议至少包含六类样本:
每个样本应记录用户身份、提问时间、有效资料版本、必要证据和可接受的行为。预期行为可以是追问或转人工,不必每题都对应一段标准答案。
Microsoft 的 RAG 评估文档区分了检索过程与最终回答的评估。这对排障很有帮助:检索结果是否相关,与回答是否忠于证据,是两个不同的问题。模型评分可以辅助筛选待审样本,但不要把它当成业务事实。关键结论仍需可追溯证据和业务复核,评估规则也要随版本记录。
这一关的验收:每次调整模型、切片、排序或提示词后,用固定样本做回归;分别查看检索覆盖、结论依据、追问与拒答表现、响应时间和成本。对越权样本,还要单独验证权限控制。
技术团队负责解析、检索、权限执行、监控和评估工具;业务负责人确认文档有效性、答案边界和冲突处理;使用者提供真实问题及修正反馈。
反馈也要归因。错误来自文档,就修改知识;来自检索,就调整检索;来自条件缺失,就改善追问;来自组织没人确认口径,就明确责任。把所有错误都归为「模型不够聪明」,很难找到可执行的改进动作。
试点可以先选一个边界清楚、资料有负责人的内部场景。先验收资料和权限,再离线评估,随后小范围开放;不要一开始就把所有文档导入并承诺回答所有问题。
我在《会问、会用、会委托、会编排:员工用 AI 的四级与 60 分奇点》中讨论过,AI 从辅助个人走向完整任务,需要同时改变交接方式和验收标准。企业知识库也是一样:一个聊天入口只是开始,知识维护、权限和业务验收有人负责,系统才有持续改善的基础。
下一次验收企业 RAG 项目,可以先问:当资料过期、条件不足或权限不够时,系统会怎样处理?
作者:刘启威,AI 转型顾问。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。