RAGFlow-一款开源的RAG引擎

💡 RAGFlow 是什么？

RAGFlow[1] 是一款基于深度文档理解构建的开源 RAG（Retrieval-Augmented Generation）引擎。RAGFlow 可以为各种规模的企业及个人提供一套精简的 RAG 工作流程，结合大语言模型（LLM）针对用户各类不同的复杂格式数据提供可靠的问答以及有理有据的引用。

🌟 主要功能

🍭 "Quality in, quality out"

•基于深度文档理解[2]，能够从各类复杂格式的非结构化数据中提取真知灼见。•真正在无限上下文（token）的场景下快速完成大海捞针测试。

🍱 基于模板的文本切片

•不仅仅是智能，更重要的是可控可解释。•多种文本模板可供选择

🌱 有理有据、最大程度降低幻觉（hallucination）

•文本切片过程可视化，支持手动调整。•有理有据：答案提供关键引用的快照并支持追根溯源。

🍔 兼容各类异构数据源

•支持丰富的文件类型，包括 Word 文档、PPT、excel 表格、txt 文件、图片、PDF、影印件、复印件、结构化数据, 网页等。

🛀 全程无忧、自动化的 RAG 工作流

•全面优化的 RAG 工作流可以支持从个人应用乃至超大型企业的各类生态系统。•大语言模型 LLM 以及向量模型均支持配置。•基于多路召回、融合重排序。•提供易用的 API，可以轻松集成到各类企业系统。

📌 新增功能

•2024-04-16 添加嵌入模型 BCEmbedding[3] 。•2024-04-16 添加 FastEmbed[4] 专为轻型和高速嵌入而设计。•2024-04-11 支持用 Xinference[5] 本地化部署大模型。•2024-04-10 为‘Laws’版面分析增加了底层模型。•2024-04-08 支持用 Ollama[6] 本地化部署大模型。•2024-04-07 支持中文界面。

🔎 系统架构

🎬 快速开始

📝 前提条件

•CPU >= 2 核•RAM >= 8 GB•Docker >= 24.0.0 & Docker Compose >= v2.26.1如果你并没有在本机安装 Docker（Windows、Mac，或者 Linux）, 可以参考文档 Install Docker Engine[9] 自行安装。

🚀 启动服务器

1.确保 vm.max_map_count 不小于 262144 【更多[10]】：

如需确认 vm.max_map_count 的大小：

  $ sysctl vm.max_map_count

如果 vm.max_map_count 的值小于 262144，可以进行重置：

  # 这里我们设为 262144:
  $ sudo sysctl -w vm.max_map_count=262144

你的改动会在下次系统重启时被重置。如果希望做永久改动，还需要在 /etc/sysctl.conf 文件里把 vm.max_map_count 的值再相应更新一遍：

 vm.max_map_count=262144

1.克隆仓库：

  $ git clone https://github.com/infiniflow/ragflow.git

1.进入 docker 文件夹，利用提前编译好的 Docker 镜像启动服务器：

 $ cd ragflow/docker$ chmod +x ./entrypoint.sh$ docker compose -f docker-compose-CN.yml up -d

核心镜像文件大约 15 GB，可能需要一定时间拉取。请耐心等待。

1.服务器启动成功后再次确认服务器状态：

 $ docker logs -f ragflow-server

1.在你的浏览器中输入你的服务器对应的 IP 地址并登录 RAGFlow。上面这个例子中，您只需输入 http://IP_OF_YOUR_MACHINE 即可：未改动过配置则无需输入端口（默认的 HTTP 服务端口 80）。2.在 service_conf.yaml[11] 文件的 user_default_llm 栏配置 LLM factory，并在 API_KEY 栏填写和你选择的大模型相对应的 API key。

详见 ./docs/llm_api_key_setup.md[12]。

好戏开始，接着奏乐接着舞！

🔧 系统配置

系统配置涉及以下三份文件：

•.env[13]：存放一些基本的系统环境变量，比如 SVR_HTTP_PORT、MYSQL_PASSWORD、MINIO_PASSWORD 等。•service_conf.yaml[14]：配置各类后台服务。•docker-compose-CN.yml[15]: 系统依赖该文件完成启动。

请务必确保 .env[16] 文件中的变量设置与 service_conf.yaml[17] 文件中的配置保持一致！

./docker/README[18] 文件提供了环境变量设置和服务配置的详细信息。请一定要确保 ./docker/README[19] 文件当中列出来的环境变量的值与 service_conf.yaml[20] 文件当中的系统配置保持一致。

如需更新默认的 HTTP 服务端口(80), 可以在 docker-compose-CN.yml[21] 文件中将配置 80:80 改为 <YOUR_SERVING_PORT>:80。

所有系统配置都需要通过系统重启生效：

$ docker compose -f docker-compose-CN.yml up -d

🛠️ 源码编译、安装 Docker 镜像

如需从源码安装 Docker 镜像：

$ git clone https://github.com/infiniflow/ragflow.git$ cd ragflow/$ docker build -t infiniflow/ragflow:v0.2.0 .
$ cd ragflow/docker$ chmod +x ./entrypoint.sh$ docker compose up -d

📚 技术文档

•FAQ[22]

📜 路线图

详见 RAGFlow Roadmap 2024[23] 。

🏄 开源社区

•Discord[24]•Twitter[25]

🙌 贡献指南

RAGFlow 只有通过开源协作才能蓬勃发展。秉持这一精神,我们欢迎来自社区的各种贡献。如果您有意参与其中,请查阅我们的贡献者指南[26] 。

声明

本文由山行翻译整理自：https://github.com/infiniflow/ragflow，如果对您有帮助，请帮忙点赞、关注、收藏，谢谢～

References

[1] RAGFlow: https://demo.ragflow.io/ [2] 深度文档理解: https://github.com/infiniflow/ragflow/blob/main/deepdoc/README.md [3] BCEmbedding: https://github.com/netease-youdao/BCEmbedding [4] FastEmbed: https://github.com/qdrant/fastembed [5] Xinference: https://github.com/infiniflow/ragflow/blob/main/docs/xinference.md [6] Ollama: https://github.com/infiniflow/ragflow/blob/main/docs/ollama.md [22] FAQ: https://github.com/infiniflow/ragflow/blob/main/docs/faq.md [23] RAGFlow Roadmap 2024: https://github.com/infiniflow/ragflow/issues/162 [24] Discord: https://discord.gg/4XxujFgUN7 [25] Twitter: https://twitter.com/infiniflowai [26] 贡献者指南: https://github.com/infiniflow/ragflow/blob/main/docs/CONTRIBUTING.md