RAG-Fusion 提高 LLM 生成文本的质量和深度

1. 介绍

检索增强生成（RAG）显着先进了人工智能。它结合了预训练的密集检索和序列到序列模型的功能来生成响应。在此基础上，出现了一种称为RAG-Fusion的新方法，旨在弥合传统搜索范式与人类查询的多方面维度之间的差距。

2. RAG-Fusion 的概念

RAG-Fusion 是一种创新的搜索方法，它采用多个查询生成和倒数排名融合来重新排名搜索结果。这种方法解决了 RAG 模型的局限性，例如人类搜索效率低下，并代表了生成人工智能的范式转变。

3. 倒数排名融合

倒数排名融合（RRF）将多个具有不同相关性指标的结果集组合成一个结果集[1-2]。它用于两个或多个查询并行执行的场景[2]。它的工作原理如下：

获取排名搜索结果：RRF 从并行执行的多个查询中获取排名结果[2]。

指定倒数排名分数：对于搜索结果中的每个文档，RRF 根据其在列表中的位置指定倒数排名分数。分数的计算方式为 1/ （rank + k），其中 rank 是文档在列表中的位置，k 是一个常数[2]。

组合分数：对于每个文档，RRF 将从每个搜索系统获得的倒数排名分数相加，生成每个文档的组合分数 2。然后根据这些组合分数对文档进行排名，以创建最终结果集[2]。

RRF 的关键优势之一是它能够提供高质量的结果，而无需进行任何调整[3]。它考虑项目在原始排名中的位置，对多个列表中排名较高的项目给予更高的重要性[2]。这有助于提高最终排名的整体质量和可靠性，使其更有利于融合多序搜索结果[2]。

4. 克服限制

传统 RAG 模型的主要挑战之一是它无法有效地处理人工搜索。人类通常采用多方面的查询方法，这对于人工智能模型准确理解和响应来说可能具有挑战性[1]。RAG-Fusion 通过采用多个查询生成来解决这个问题，使其能够更好地理解并响应复杂的人类查询。

5. RAG 和 RAG-Fusion 有什么区别？

检索增强生成（RAG）和 RAG-Fusion都是旨在通过集成基于检索和生成组件来增强大型语言模型（LLM）能力的方法[4-5]。

以下是它们之间的主要区别：

查询生成：虽然 RAG 依赖于用户输入的单个查询，但 RAG-Fusion 通过从不同角度生成多个查询来解决此限制[4]。这种多查询生成是通过称为提示工程和自然语言模型的技术来实现的[4]。

结果重新排名：RAG-Fusion 引入了使用倒数排名融合 [4] 对搜索结果重新排名的另一个步骤。传统的 RAG 模型[4]中不存在此步骤。

响应质量：RAG-Fusion 中的附加步骤，例如查询生成和重新排名结果，旨在提高生成文本的质量和深度[4-5]。

总之，虽然 RAG 和 RAG-Fusion 旨在增强大语言模型的能力，但 RAG-Fusion 在工作流程中引入了额外的步骤，以提供更精细和更全面的文本生成[4-5]。

6. RAG-Fusion 与其他搜索方法相比如何？

RAG-Fusion 是一种基于检索增强生成 （RAG）功能的搜索方法，引入了查询生成和重新排名结果等附加步骤，以提高生成文本的质量[6]。以下是它与其他搜索方法的比较：

传统搜索方法：在了解人类查询的细微差别和复杂性时，传统搜索方法通常需要进行修改[7]。RAG-Fusion 通过从不同角度生成多个查询来解决这个问题[8-9]。

语义相似性与完整文档提示：在比较语义相似性（传统的 RAG 方法）和完整文档提示（另一种方法）时，RAG-Fusion 提供了更细致和更全面的响应 [9]。

带生成模型的矢量搜索：RAG 的兴起通过将矢量搜索的力量与生成模型相融合，改变了人工智能和搜索空间的范式[7]。RAG-Fusion 在此基础上引入了倒数排名融合来对结果进行重新排名[8，6]。

总之，RAG-Fusion 代表了搜索方法的重大进步，提供了比其他方法更精细和更全面的文本生成[8，9，6，7]。

7. RAG-Fusion 的影响

RAG-Fusion 的引入对信息检索系统具有重大影响。通过弥合传统搜索范式与人类查询的多方面维度之间的差距，RAG-Fusion 有可能彻底改变我们与 AI 模型交互的方式。它代表着我们在创建人工智能模型方面向前迈出了重要一步，这些模型可以更细致、更准确地理解和响应人类的查询。

8. RAG-Fusion 的局限性

RAG-Fusion 虽然具有创新性，但也有一些局限性：

外部知识的质量：RAG-Fusion 与 RAG 一样，依赖于外部知识，并且可能由于不正确的信息而产生不准确的结果[10]。

人类搜索效率低下：RAG-Fusion 解决了一些效率低下的问题，但仍然具有挑战性。搜索过于简单化可能会导致相关性较低的结果[11]。

延迟：与标准大型语言模型 （LLM）[12] 相比，RAG-Fusion 中添加的检索步骤增加了推理时间。

复杂性：RAG 系统（包括 RAG-Fusion）需要集成和维护更多组件，例如检索器和数据库，这增加了复杂性[12]。

相关性：检索器必须返回高质量的文档以改进生成器[12]。

这些限制是生成人工智能正在进行的研究和开发的领域。

9. RAG-Fusion 在实践中如何工作的示例

在此笔记本中，我们展示了如何使用 mistra[13] AI 模型来使用 RAG-Fusion 的示例。

https://github.com/frank-morales2020/MLxDL/blob/main/Rag_Fusion_Pipeline_PostgreSQL_Embedding_Mistral.ipynb

10. 结论

总之，RAG-Fusion 是生成式 AI 领域一项充满希望的进步。解决传统 RAG 模型的局限性并引入创新方法可以显着改善我们与 AI 模型交互的方式。随着我们不断探索和开发这项技术，我们可以期待未来人工智能模型能够更细致、更准确地理解和响应我们的查询。

11. 参考

1.- [Reciprocal rank fusion | Elasticsearch Guide [8.12] | Elastic]

2.-[Hybrid search scoring (RRF) --- Azure AI Search | Microsoft Learn]

3.-[Implementing Reciprocal Rank Fusion (RRF) in Python (safjan.com)]

4.- [This technique will make your LLM Smarter and more Context-Aware: RAG on Steroids | by Shivansh Kaushik | Medium]

5.- [RAG Fusion Revolution --- A Paradigm Shift in Generative AI | by Dr. Kiran Kumar | Dec, 2023 | Medium]

6.- [RAG Fusion Revolution --- A Paradigm Shift in Generative AI | by Dr. Kiran Kumar | Dec, 2023 | Medium]

7.- [Rag Fusion --- Open Source Agenda]

8.- [rag-fusion/README.md at master · Raudaschl/rag-fusion (github.com)]

9.-[Analyzing RAG Methods: Semantic Similarity vs. Full Document Prompting | by Ingrid Stevens | Dec, 2023 | Medium]

10.- [limitations of RAG-Fusion --- Search (bing.com)]

11.- [RAG Fusion Revolution --- A Paradigm Shift in Generative AI | by Dr. Kiran Kumar | Dec, 2023 | Medium]

12.- [RAG, Finetuning or Both? Choosing the Right Strategy --- MatrixFlows]

13.- [https://mistral.ai/]

原文链接：https://ai.plainenglish.io/rag-fusion-4832635d7d06

原文作者：[Frank Morales Aguilera]