首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >FDE 在客户现场做 RAG 落地:从数据接入到评估集的工程清单

FDE 在客户现场做 RAG 落地:从数据接入到评估集的工程清单

原创
作者头像
FDE指南
发布于 2026-11-20 21:49:09
发布于 2026-11-20 21:49:09
150
举报

RAG(检索增强生成)是 FDE(前沿部署工程师)在企业现场最常碰到的一类需求:客户有一堆内部文档,想让大模型基于这些资料回答问题。Demo 往往半天就能跑起来,真正难的是上线之后——答案不准、文档更新不同步、出了问题说不清是哪一环的锅。

这篇按工程顺序拆一遍:数据接入、切分与检索、评估集、上线兜底。每一节都给可核对的做法,而不是概念。

一、先说结论:demo 和生产的差距在哪

一个能演示的 RAG 只需要三步:文档切成片、向量化存库、检索 Top-K 拼进 prompt 丢给模型。

能上生产的 RAG 多出四件 demo 里没有的东西:文档解析的质量控制、检索效果的量化评估、模型幻觉的兜底、以及文档更新后的重建链路。FDE 在现场要交付的是后者,客户不会为"演示时能答对三个问题"验收。

二、数据接入:三类文档各有各的坑

客户给的资料通常不是干净的 Markdown,接入阶段花的时间往往比后面所有环节加起来都多。

文档类型

常见问题

处理建议

扫描版 PDF

没有文本层,直接读出来是空的

先做 OCR,核对识别率;表格和公式单独抽检

含表格的 PDF / Word

表格被拉平成乱序文本,行列对应关系丢失

表格单独抽取成结构化数据,不要混进正文切片

网页 / 内部知识库导出

导航栏、页脚、广告被当成正文

按正文区域过滤,去掉重复模板文本

一个容易被忽略的点:保留出处元数据。每片文档要带上来源文件名、页码或 URL,后面回答时才能引用溯源,也才能定位"这个错答案是从哪片资料来的"。接入时不留,出问题时基本无法排查。

三、切分与检索:从"能检索"到"检索得准"

切分(chunk)

切片大小没有万能值,常见做法是 300–800 字一片、片间重叠 50–100 字。判断标准不是某个数字,而是:一个切片能不能独立回答一个具体问题。把一个流程说明从中间切断,两片都答不完整,再大的重叠也救不回来。

按标题层级切(章节 > 段落)通常比按字符数硬切效果好,因为保留了语义边界。

检索

单靠向量检索在两类问题上会翻车:专有名词和编号(如产品型号、内部术语)向量相似度低,多条件筛选(如"2025 年后发布的某类产品")纯语义匹配不稳。

生产环境一般上混合检索:向量检索 + 关键词检索(BM25)两路并行,再合并排序。有条件加一层 rerank 模型对候选切片重排,Top-K 的精度会明显提升。这几步在 demo 里都可以省,在验收里省不掉。

四、评估集:上线前必须有的东西

没有评估集,调 RAG 就是凭感觉——"感觉这次好点了"没法跟客户交代。

最小可用的评估集这样做:

1. 攒 30–50 条真实问题:从客户的历史工单、客服记录里挑,不要用自己编的问题;

2. 标出每条答案对应的原文片段:答案对不对先放一边,先看有没有检索到正确的那片文档;

3. 分两层打分:检索层看"正确切片有没有进 Top-K",生成层看"答案是否准确且引用了正确出处"。

分开打分很重要。答案错了,是检索没找到资料,还是找到了但模型没用好——不拆开就不知道该改检索还是改 prompt。

五、上线兜底:幻觉、安全与重建链路

  • 引用溯源:回答里必须带出处,客户点得开、能对得上原文。没有出处的答案在严肃场景里等于不可用。
  • 兜底话术:检索结果相似度低于阈值时,直接答"资料里没有明确说明",而不是让模型自由发挥。这一条能把大部分幻觉挡在门外。
  • 权限边界:企业内部文档有可见范围,检索阶段就要按权限过滤,不能等生成完再屏蔽——那已经晚了。
  • 重建链路:文档更新后,增量切片、重新向量化、替换索引要能自动跑起来。现场最常见的事故是"客户更新了文档,机器人还在答旧版本"。

六、一张检查表

交付前逐条核对:

1. 文档解析质量抽检过,扫描件和表格单独处理了

2. 每片文档带来源元数据,答案可溯源

3. 切分按语义边界,不是按字符数硬切

4. 上了混合检索,专有名词类问题单独测过

5. 有 30 条以上的真实问题评估集,检索层和生成层分开打分

6. 检索不到时走兜底话术,不自由发挥

7. 权限在检索阶段过滤

8. 文档更新能触发索引重建

这八条做到,RAG 项目大致能从"能演示"走到"能验收"。这也是 FDE 现场交付和实验室 demo 的真正分界线。


本文为工程实践整理,具体技术选型需结合客户环境与数据规模;文中做法不针对任何特定厂商产品。

关于 FDE 需要掌握的能力分层(生产工程 / AI 落地 / 现场组织),整理在这里:FDE 工程师招聘要求与入行路径

本文为非官方行业观察,与腾讯云及任何认证机构无隶属或授权关系。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

目录
  • 一、先说结论:demo 和生产的差距在哪
  • 二、数据接入:三类文档各有各的坑
  • 三、切分与检索:从"能检索"到"检索得准"
  • 切分(chunk)
  • 检索
  • 四、评估集:上线前必须有的东西
  • 五、上线兜底:幻觉、安全与重建链路
  • 六、一张检查表
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档