首页
学习
活动
专区
圈层
工具
发布
技术百科首页 >LlamaIndex >LlamaIndex 实现检索增强生成(RAG)的关键流程包含哪些步骤?

LlamaIndex 实现检索增强生成(RAG)的关键流程包含哪些步骤?

词条归属:LlamaIndex

1. 数据加载(Loading)

通过数据连接器从各种数据源(文本文件、PDF、网站、数据库API)加载原始数据,转换为 LlamaIndex 内部的 Document 格式。LlamaHub 提供了数百个连接器供选择。

2. 解析与分块(Parsing / Chunking)

将 Document 拆分为 Node,使用 NodeParser 进行分块。可配置分块大小、重叠度和分割策略。常用的分块策略包括:

  • SentenceSplitter:按句子边界分割,保持语义完整性。
  • SemanticSplitterNodeParser:基于语义边界检测进行分割。
  • 结构感知解析器:针对 Markdown、JSON、HTML 等格式的结构化分割。

3. 索引构建(Indexing)

对 Node 生成嵌入向量(Embedding),并存储到索引结构中。嵌入向量是文本语义的数值表示,使计算机能够以数学方式比较文本相似度。根据索引类型的不同,可能还会提取关键词、构建实体关系图或生成摘要。

4. 存储(Storing)

将构建好的索引持久化存储,避免每次查询时重新索引。LlamaIndex 支持从简单的本地存储到生产级向量数据库的多种存储后端。

5. 查询检索(Querying)

当用户提交问题时,检索器将查询转换为嵌入向量,在索引中搜索最相关的 Node。检索策略可能包括语义相似度搜索、元数据过滤或混合检索。

6. 响应合成(Synthesis)

将检索到的 Node 与用户查询一起传递给 LLM,生成基于检索上下文的增强回答。LlamaIndex 提供多种合成策略:

  • Simple Summarize:将所有检索到的 Node 文本拼接后一次性传递给 LLM。
  • Refine:逐个遍历检索到的 Node,逐步精炼答案。
  • Compact:先将 Node 压缩到 LLM 上下文窗口内,再进行精炼。
  • Tree Summarize:从检索到的 Node 构建摘要树,返回根节点摘要。
相关文章
检索增强生成RAG的关键特性与优势
什么是检索增强生成呢?在灯塔书《知识增强大模型》一书的第四章《检索增强生成》中这样介绍“检索增强生成(Retrieval Augmented Generation,RAG)通过检索外部知识(如文档、知识图谱、数据库等)提升大模型知识的准确性、时效性及推理能力,从而缓解“幻觉”现象,解决知识老化问题。RAG 的核心理念在于通过提供可靠的知识资源,使大模型在生成答案时更加全面、可信和可靠。这类似于人类记忆的运作机制。人类的记忆往往并不精确,会随着时间的推移变得模糊;同理,大模型也无法精确地保存知识。人类通过翻阅书籍或使用搜索引擎找到可靠的知识源,验证知识的准确性;同理,RAG 也利用外部知识来补充和更新知识,解决不准确、不及时和不可靠的问题,从根本上弥合知识鸿沟。”关于检索增强生成有关的技术,涉及到向量数据库、向量检索和文本检索以及RAG本身的实战,可以阅读灯塔书《知识增强大模型》。本文则进一步探讨RAG的关键特性,深入理解,为什么大模型需要利用外部知识来解决不准确、不可靠和不及时的问题,进而实现可信人工智能。
走向未来
2025-04-21
2.1K0
从零理解 RAG:LlamaIndex 入门指南
大语言模型(LLM,Large Language Model)很强,但它有一个天然局限:它只知道训练时见过的东西。
烟雨平生
2026-04-14
8360
从零开始优化 RAG 流程的终极指南,解决检索增强生成的核心挑战
首先,我们将 RAG 工作流程分为三个部分,以增强我们对 RAG 的理解,并优化每个部分以提高整体性能:
致Great
2025-02-22
3.7K0
大模型应用:LlamaIndex 与 LangChain 深度集成构建本地化RAG系统.25
大模型在生成信息时可能出现幻觉问题,生成看似合理但实际错误或不存在的内容,同时,模型存在知识边界限制,其知识受限于训练数据的时间截点和覆盖范围,无法获取实时信息或特定领域深度知识。为解决这些问题,通常采用检索增强生成(RAG)技术,结合外部知识库实时检索来修正和补充模型知识;通过提示工程明确约束生成范围;建立事实核查和置信度评估机制。
未闻花名
2026-02-22
1.4K2
高级检索增强生成系统:LongRAG、Self-RAG 和 GraphRAG 的实现与选择
检索增强生成(RAG)早已不是简单的向量相似度匹配加 LLM 生成这一套路。LongRAG、Self-RAG 和 GraphRAG 代表了当下工程化的技术进展,它们各可以解决不同的实际问题。
deephub
2025-11-26
7160
点击加载更多
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
领券