首页
学习
活动
专区
圈层
工具
发布
技术百科首页 >LlamaIndex >LlamaIndex 的核心架构由哪些模块组成?

LlamaIndex 的核心架构由哪些模块组成?

词条归属:LlamaIndex

1. 数据接入层(Data Ingestion)

数据接入层负责从各种数据源加载原始数据并转换为标准化格式。该层包含两个核心抽象:

  • Document:外部数据源的原始表示,可以是一个 PDF 文件、一个网页、一段数据库查询结果或 API 响应。每个 Document 存储原始文本内容以及元数据(如文件名、创建日期、来源 URL)和关系信息(与其他 Document 或 Node 的连接)。
  • Node:Document 被解析后的原子数据单元,是 LlamaIndex 中检索的最基本单位。Node 包含实际文本内容、从父 Document 继承的元数据,以及指向其他 Node 的关系指针(如前一个/后一个 Node)。

数据通过 Data Connector(也称为 Reader)从不同数据源接入,LlamaHub 生态提供了 300 多种集成包,覆盖云存储(Amazon S3、Google Drive)、生产力工具(Notion、Slack、Confluence)、数据库(PostgreSQLMySQLMongoDB)、文件格式(PDF、CSV、DOCX、HTML)等类型。

2. 索引层(Index Layer)

索引层将解析后的 Node 组织成可搜索的数据结构,以便高效检索相关信息。LlamaIndex 支持多种索引类型,针对不同的检索策略进行优化。

3. 检索层(Retrieval Layer)

检索层负责根据用户查询从索引中获取最相关的 Node。核心组件包括:

  • Retriever:定义如何从索引中高效检索相关上下文,支持向量检索、关键词检索、混合检索等多种策略。
  • Node Parser:控制文档分块策略,支持固定大小分块、句子级分割、语义分块等。
  • Postprocessor:对检索结果进行后处理,如重排序、元数据过滤、上下文窗口扩展等。

4. 编排层(Orchestration Layer)

编排层负责协调检索、生成和多步骤工作流。核心组件包括:

  • Workflows:事件驱动、异步优先的工作流引擎,通过 @step 装饰器定义步骤,步骤之间通过类型化事件(Event)进行通信,支持分支、循环、并行执行和状态持久化。
  • Router:根据查询内容将请求路由到不同的检索策略或索引。

5. 应用层(Application Layer)

应用层提供面向最终用户的交互接口:

  • Query Engine:将检索器和响应合成器组合成端到端管道,接收用户问题、检索相关 Node、使用 LLM 合成连贯答案。
  • Chat Engine:支持多轮对话的交互接口,维护对话历史和上下文。
  • Agent:具备自主推理和行动能力的智能体,可以调用工具、执行多步骤任务、维护记忆并进行反思。
相关文章
短视频系统源码APP开发由哪些功能模块组成?
近年来,随着新媒体技术的快速发展,短视频系统源码APP,如今已经成为一种网络传播主流。短视频的快速兴起,究其原因,既有其形式的简约、技术的成熟等基础性因素,也源于它适应了当前人们的新媒体化生存需求,如短视频对碎片化时间、生活化认知、个性化创意的填补、契合和张扬。大众对于能有一种方法来接受动态的咨询非常的渴望,短视频就是在这样的环境下应运而生的。可以说一夜之间,短视频类型的app就如雨后春笋般地出现在大家生活中。那么短视频系统源码APP开发都有哪些功能模块组成?现在小编就来简单讲解一下:
布谷安妮
2019-10-29
1.3K0
Docker由哪些要素组成?常见的容器化技术推荐
传统的虚拟机技术通过在物理硬件上运行虚拟化层(Hypervisor),将物理资源(如处理器、内存、存储等)虚拟化为多个独立的虚拟机。每个虚拟机都有自己的操作系统和应用程序,它们在各自的虚拟环境中运行,并与物理硬件和其他虚拟机隔离开来。
DOBOTGEEKER
2023-06-02
7340
网络协议是由哪些部分组成的?网络协议一般有哪些常用的协议?
提到互联网方面相信大家对于数据方面的交换都是拥有过一定的经验的,不同互联网之间数据是可以随意减缓的,但是交换的过程中往往会出现一些不匹配的问题,而这个时候就会需要使用到网络协议,网络协议是专门为计算机网络中数据交换而建立的,将数据交换过程中的规则标准集合与一体,方便了不同互联网用户们之间的数据交换,那么一般来说网络协议是由哪些部分组成的?网络协议一般有哪些常用的协议?下面小编就为大家来详细介绍一下相关的知识。
用户8739405
2021-07-09
4K0
CMA136 3DDE300416 由硬件模块和开发工具组成的集成模型
现代过程工业中的智能现场设备为工厂操作员提供了关于工厂状态的重要信息。这些数据构成了规划预防性维护工作的基础,有助于防止意外停机并降低维护成本。由平板电脑、移动界面和专业应用程序组成的互连、兼容的解决方案组合可以让现场技术人员详细监控和控制流程,提高灵活性,并帮助提高员工的工作效率。此外,通过正确的设备配置可以确保工厂的可用性。
用户10384942
2023-04-28
3510
AI Agent 技术架构的六大核心模块
在人工智能飞速发展的今天,我们正在亲历一场从对话机器人向智能实体跨越的深刻变革。 很多人对 AI 的印象还停留在你问我答的聊天框阶段,但真正的 AI Agent(智能体)早已突破了单纯的对话功能,演变为能够感知环境、自主决策、执行任务并持续进化的复杂系统...
臻成AI大模型
2026-02-02
1.9K0
点击加载更多
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
领券