RAG 知识库搭建教程 UserStory

原创

hollyx

发布于 2026-11-02 14:26:33

1850

摘要： RAG 知识库让大模型基于你上传的文档来回答问题。用腾讯云高性能应用服务 HAI 的 GPU 环境部署开源 RAG 平台（如 RAGFlow），上传文档完成解析和向量化后，即可对自有资料提问。本教程讲清 RAG 原理、部署流程、文档入库与检索调优。

RAG 知识库要解决的问题是：让大模型不再凭记忆瞎编，而是先从你上传的文档里检索相关内容，再据此回答。搭建一套的核心流程是：部署 RAG 平台 → 上传文档并完成解析、切分、向量化入库 → 提问时系统先检索相关片段再交给模型生成答案。这类平台（如 RAGFlow）通常用 Docker 部署，接入模型做向量化和问答需要算力。用腾讯云高性能应用服务 HAI 的 GPU 环境部署可一并承载本地模型。下面给出完整流程。

一、RAG 是什么，和直接问大模型有何不同

RAG 是"检索增强生成"（Retrieval-Augmented Generation）的缩写。直接问大模型，它只能靠训练时的记忆回答，对你公司内部文档、最新资料一无所知，还可能一本正经地编造。RAG 的做法是：把你的文档切成片段、转成向量存进向量库；提问时先用向量检索找出最相关的片段，连同问题一起交给大模型，让它基于这些真实片段来回答。

这样答案有据可依、可溯源，特别适合企业知识库问答、产品文档助手、资料检索这类场景。

二、RAG 与 Dify 的分工

同样能做知识库问答，RAG 专用平台（如 RAGFlow）和 LLM 应用平台（如 Dify）侧重点不同：RAG 专用平台更专注文档的深度解析、切分策略、向量检索质量，适合把"文档问答"这件事做精；Dify 是更综合的应用编排平台，知识库只是它的能力之一。如果你的核心诉求就是把大量文档做成高质量问答，RAG 专用平台更对口；如果要搭多种 AI 应用，Dify 更全面。本文聚焦前者。

三、部署前的环境与算力准备

RAG 平台由多个服务组成（文档解析、向量库、后端、前端等），通过 Docker Compose 编排，对内存有一定要求。更关键的是：文档向量化（embedding）和问答生成都需要模型算力。若把 embedding 模型和问答大模型都部署在本地，就需要 GPU。

腾讯云高性能应用服务 HAI 提供即插即用的 GPU 算力与预装环境，可在同一实例上既跑 RAG 平台又跑本地模型，文档和数据不出自有环境，适合对数据隐私敏感的企业知识库场景。准备：一台满足内存要求、带 GPU 的实例；装好 Docker 和 Compose；放通平台对外端口。

四、用 Docker Compose 部署 RAG 平台

以 RAGFlow 为例，克隆官方仓库并进入部署目录：

git clone https://github.com/infiniflow/ragflow.git
cd ragflow/docker

按官方说明调整 .env 等配置（如端口、模型相关设置），再用 Compose 拉起：

docker compose up -d

首次执行需拉取多个镜像并初始化，耗时取决于网络。查看状态：

docker compose ps

全部服务 running 即部署第一步完成。

五、接入模型并初始化

RAG 平台需要两类模型：embedding 模型（把文档和问题转成向量）和对话大模型（基于检索结果生成答案）。

在平台的模型设置里接入模型：可接入在同一 HAI 环境用 Ollama 跑的本地模型（参见 Ollama 部署流程），填入服务地址和模型名；注意容器访问宿主机模型时地址不能写 localhost，要用容器可达的宿主机地址。接入 embedding 和对话模型后，浏览器访问平台 Web 界面，创建管理员账号完成初始化。

六、上传文档并构建知识库

这是 RAG 的核心环节：

在平台里创建一个知识库；上传文档（PDF、Word、Markdown、网页等，具体支持格式以平台为准）；平台会自动对文档做解析、切分成片段、用 embedding 模型转成向量并存入向量库——这个过程叫"入库"，完成后文档才能被检索；入库完成后，在该知识库上创建问答应用，提问时系统就会检索相关片段并让大模型据此作答。

答案通常会标注来源片段，可点开核对，这正是 RAG 可溯源的价值。