想象一个学生，背过很多书，但有两个毛病：记不准细节，也记不住昨天才发生的事。你问他"公司上季度营收是多少"，他可能凭印象编一个数字——听起来合理，其实是错的。大模型就是这个学生。它把海量知识压缩进了参数，可一旦遇到没背熟、或背完之后世界又变了的事实，就会一本正经地幻觉（hallucinate）。

解决思路很朴素：别让它全靠脑子，考试时允许它翻资料。

做的就是这件事——回答之前，先去一个外部知识库里翻出相关段落，摊在桌面上，再让它看着资料作答。资料是新的、可核验的，答案自然更稳。

RAG不是让模型变得更聪明，而是给它一个"可以随时翻的笔记本"。它把"知识"和"能力"拆成了两件事：能力在模型里，知识在库里。

RAG（Retrieval-Augmented Generation，检索增强生成）

是一套"推理时"的架构：在模型生成答案之前，先从外部语料里检索出最相关的若干片段，把这些片段拼进提示词（prompt），再让模型基于它们作答。

 这里有个关键点，也是很多人会混淆的：整个过程中

——知识活在外部的文档库里，不在神经网络的参数里。

这正好把上一轮我们聊清的关系坐实了：

RAG 不属于后训练。后训练是"提前把资料背进脑子"（改权重），RAG 是"用的时候把资料摊在桌上"（不改权重）

。它和后训练是互补的两条路，不是一回事。

理解了动机，下面看实现。RAG 的工程本质上由两条互相对应的生命线构成：一条

把问题读出来。两条线都绕不开"向量"和"检索"，但关注点完全不同。

离线这条线，目标只有一个：把一堆杂乱文档，变成"给一个查询就能秒级返回相关片段"的向量库。它分三步。

。你不能把整本 PDF 塞进一个向量——太长会稀释语义，检索时也拼不进上下文窗口。所以要切成片段（chunk）。切法有讲究：最简单是按固定 token 数（比如 256–512 个 token）硬切，但句子会被腰斩；更稳妥的是按结构切——Markdown 按标题层级、代码按函数或类；进阶一点是

，用语义边界而不是字符数来断。无论哪种，几乎都会留

：相邻块首尾重叠一小段（一般 10%–20%），就是为了防止一个完整意思被切在两半、谁都检索不全。这些数字是工程经验，不是铁律。

。每个块送进一个双编码器（bi-encoder），产出一段稠密向量。所谓 bi-encoder，就是"问题和文档各自独立编码、最后算相似度"的架构——这与后面要讲的交互式编码器相对。

 这一步是离线的：每个块只编码一次，存起来反复用。常用的编码模型有 sentence-transformers 系列，以及 bge、e5 这类中文友好的模型。

第三步是把"向量 + 原文"一起写进

。原文必须留着——向量只负责"找得到"，最终喂给模型的还是人类可读的文本。

在线这条线，目标是"给一个问题，拿到最该被送进模型的 K 个片段"。它比写侧复杂，因为要兼顾速度、召回和精度。

检索的第一步往往不是直接查，而是

。用户的问题未必是适合检索的语句——口语化、缺上下文、措辞和文档对不上。常见做法有三种：让模型把问题改写成更标准的检索式；

扩展，把一个问题拆成几个不同角度的子问，各自检索再合并；或者 

，先让模型"假设"一个答案，再拿这段假答案去检索——因为假设答案的语义分布反而更接近真实文档。

改写之后是真正的检索，通常走两条并行的路。

把查询也编码成向量，去向量库里做近似最近邻（ANN）搜索，靠语义相似度捞回相关内容；它擅长"同义不同词"。

则是经典的关键词匹配（如 BM25、倒排索引），靠词面重合，擅长精确命中专有名词、编号、型号这类稠密检索容易漏掉的东西。两条路各有所长，所以成熟系统几乎都做

：一份查询同时走稠密和稀疏，再用 

RRF（Reciprocal Rank Fusion，倒数排名融合）

按各自排名融合去重——它不依赖两种分数的量纲是否一致，只看名次，工程上很省心。

但融合出来的候选还只是"粗排"。最后一关是

：把 top-N（比如 50  条）候选交给一个交互式编码器（cross-encoder），让模型和"查询—片段"两两充分交互后再打分。它比 bi-encoder 准得多，代价是慢——所以只作用在少量候选上，是"先快后准"的两段式。

 这类"延迟交互（late interaction）"方案：先各自编码、保留 token 级向量，检索时再做细粒度匹配，精度接近重排、速度接近双编码器。

把这段链路落成代码，最小形状大概是这样（以下为示意）：

# 示意：混合检索 + 重排的最小形状
dense = embedder.encode(query)             # 稠密向量
hits_d = index.search(dense, k=20)         # ANN 近似最近邻
hits_s = bm25.search(query, k=20)          # 稀疏关键词召回
merged = rrf([hits_d, hits_s], k=10)       # 按排名融合去重
top = reranker.rank(query, merged[:10])    # cross-encoder 重排
context = "\n".join(h.text for h in top)   # 拼成上下文

检索侧给出 top-K 片段后，生成侧的工作反而简单：把这些片段拼成一段"参考资料"，连同原始问题一起塞进提示词模板，再交给 LLM。模板大概长这样——"根据以下资料回答，若资料未提及就明说不知道：

这里有几个工程细节值得记：上下文放 system 还是 user 段、总 token 预算怎么分配（检索片段和用户问题要抢同一个窗口）、片段过长时怎么截断或摘要。

（丢失在中间）是个真实存在的现象——模型容易记住开头和结尾，却忽略长上下文正中间的信息；缓解办法之一，正是把最相关的片段交给重排顶到最前，或干脆压短上下文。

RAG 看起来是"检索 + 拼提示词"两步，真正上线时坑都在细节里。下面几条最常见：

（公司内部文档、个人笔记）、知识是

（新闻、价格、库存）、或者你

（每个答案都能标出它引自哪段原文，方便核验）。它的核心卖点恰恰是不用重训模型——库更新了，知识就更新了。

反过来，如果知识是稳定且量小的常识，直接写进提示词、或者走微调反而更省事；这时候上 RAG 是杀鸡用牛刀。

最小落地栈很轻：用 sentence-transformers 出向量、FAISS 或 pgvector 建索引，重排挂一个 cross-encoder（如 ms-marco MiniLM）。下面是一段最小检索—生成调用（示意）：

# 示意：一次最小 RAG 检索-生成调用
chunks = retrieve(user_q, top_k=5)         # 走 图2 那条链路
ctx = format_context(chunks)               # 片段 + 来源编号
prompt = f"根据资料回答，并标注引用：\n{ctx}\n问题：{user_q}"
answer = llm.generate(prompt)             # 生成侧，权重不变

 这类框架：它用 LLM 当裁判，从"答案是否忠于上下文（faithfulness）""检索召回够不够（context recall）""答没答到点（answer relevancy）"几个维度打分，且不依赖人工标注的标准答案。

 每一个 LLM 打分的指标都有随机性，跑的时候固定裁判模型和版本、再拿人工抽查校准即可。

RAG 的本质，是把"知识"从模型权重里挪到外部库：检索侧（分块、向量化、混合检索、重排）只负责把对的片段找出来，全程不动权重；生成侧才让 LLM 基于这些片段作答。它和后训练是两条互补的路，而不是替代关系。

想继续往下挖，可以看三个方向：

（用知识图谱增强检索的结构性）、

（让模型自己判断"要不要再查一次、查得对不对"），以及"长上下文窗口越来越大，RAG 还有没有必要"这场持续至今的争论。

检索增强生成（RAG）：从离线索引到在线重排的工程实现

人工智能

RAG通过外部知识库检索增强大模型回答，核心是“知识在库、能力在模型”。它不改变模型权重，采用分块、向量化、混合检索与重排技术，解决幻觉和知识过期问题。适用于私有、时效性知识场景，需注意分块语义完整性、检索精度与上下文利用等工程细节。

知识图谱

GraphRAG

Markdown

2026上云采购 | AI焕新·智启新局

lexiang

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

检索增强生成（RAG）：从离线索引到在线重排的工程实现

检索增强生成（RAG）：从离线索引到在线重排的工程实现

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐