文档建议反馈控制台
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
发布

深入RAG架构：分块策略、混合检索与重排序的工程实现

最初的版本就是标准版：全量文档 embedding，向量检索，LLM生成。...Prompt 里可以加"优先引用最新来源"，代码里也可以在生成前直接按时间过滤。 光是这一步就解决了大约40%的检索故障。垃圾进垃圾出——chunk 质量上去了检索效果自然跟着上去。...Level 3：混合搜索 假设这样一个查询："What's our PTO policy for employees with 5+ years tenure?"...Level 5：生产级RAG 前面几个级别都在提升检索质量。生产级RAG要处理的是另一件事：检索已经尽力了，但还是失败了，怎么办？ 因为它一定会失败，用户会问文档里根本没覆盖的问题。...真正该问的不是"怎么杜绝检索失败"，而是"检索失败的时候，系统该怎么表现"。 护栏 上下文不够的时候，别让LLM自己编。

25010

全文检索、向量检索和混合检索的比较分析

全文检索 全文搜索是指将部分或全部文本查询与数据库中存储的文档进行匹配。与传统的数据库查询相比，全文搜索即使在部分匹配的情况下也能提供结果。...混合搜索的案例 混合搜索结合了全文搜索和矢量搜索的优点。它建立在全文搜索的可访问性、即输入即搜索体验的基础上，并集成了人工智能搜索支持的增强发现功能。...Elasticsearch 用户越来越多地使用不同类型信息的搜索检索 — BM25 用于文本，向量搜索用于密集向量。...混合搜索技术通常会提供更好的结果：对多个 BIER 数据集进行基准测试显示，结合 BM25 和基于 ELSER 的排名时，相关性有所提高，现在用户甚至可以更轻松地组合所有这些检索方法。...混合搜索将全文搜索的可访问性与人工智能实现的改进发现相结合。 混合搜索是现代搜索方法，将最先进的搜索功能统一到单个 API 后面。

6.3K10
    • 您找到你想要的搜索结果了吗？
    是的
    没有找到

    改进 Elastic Stack 中的信息检索：混合检索

    Elasticsearch ®还具有强大的词汇检索功能和丰富的工具来组合不同查询的结果。在本博客中，我们介绍了混合检索的概念，并探讨了 Elasticsearch 中可用的两种具体实现。...混合检索尽管现代训练管道产生了在零样本场景中具有良好性能的检索器模型，但众所周知，词汇检索器（例如 BM25）和语义检索器（例如 Elastic Learned Sparse Encoder）在某种程度上是互补的...我们进行了一些重叠测量，以检查弹性学习稀疏编码器、BM25 和各种密集检索器之间的这一假设，如表 1 所示。这为使用所谓的混合搜索提供了一些基本原理。接下来，我们研究混合搜索的两种显式实现。...然而，对于现代词汇语义混合检索来说，k 和 N 的最佳值是什么并不清楚。此外，我们想了解结果对这些参数的选择有多敏感，以及最优值是否可以在数据集和模型之间推广。...分数加权总和Elasticsearch 支持的另一种混合检索方法是使用线性函数组合 BM25 分数和模型分数。本文研究了这种方法，结果表明，在校准良好的情况下，它比倒数秩融合更有效。

    3.4K31

    RAG 强化之选：OpsPilot Rerank 重排序弥补语义检索短板

    直达原文：OpsPilot功能上新：RAG再强化，Rerank重排序提升检索质量（内附体验环境）随着大模型技术的迅猛发展，检索增强生成（RAG）已成为构建智能知识库的核心方案。...Rerank（重排序）的具体实现是通过机器学习模型，捕捉复杂语义（如一词多义、隐含意图），对初步检索结果进行二次语义评估。...具体步骤如下：从而实现以下作用，优化检索结果：弥补语义短板：突破传统检索的表面匹配，找到“关键词不同但意思相近”的优质内容。精准筛选排序：通过多维度打分剔除低质信息，让检索结果更聚焦用户真实需求。...泛化能力更优：预训练覆盖多领域数据，对运维等专业场景的复杂查询适配性强，可灵活处理自然语言的模糊表述，输出稳定可靠的重排序结果。...03.重排序打分效果在OpsPilot的RAG过程中，Rerank在初步检索结果的基础上展开——Rerank模型接收初步检索得到的文本集合与用户问题，然后对每一个文本与问题的组合进行分析，通过多方面特征进行提取和比对

    51310

    LevelRAG：突破查询重写瓶颈，提升混合检索效果

    主要问题包括： 查询重写的适用性 现有的查询重写技术大多只适用于密集检索器，导致在混合检索（结合稀疏检索、密集检索、网络搜索）中效果受限。...检索结果的完整性 & 准确性 混合检索可能会带来重复或矛盾的信息，影响最终答案质量。 稀疏检索器的优化问题 现有查询重写方法未能充分发挥稀疏检索器的优势，如何提高其检索精度仍是个难题。...（Chan et al. 2024） 混合检索（Hybrid Retrieval） 结合 BM25 和 密集检索 提高检索效果（Lu et al. 2022, Wang et al. 2023） 利用...完整性验证： LevelRAG 优于单一检索器 & 传统混合检索，确保了 检索完整性 & 准确性。 未来研究方向 尽管 LevelRAG 取得了显著的成果，但仍有一些值得进一步探索的方向： 1....模型压缩、并行计算、缓存机制等优化手段 总结 LevelRAG 通过： 高级检索器的 逻辑规划 低级检索器的 多检索融合 稀疏检索器的 查询优化 优化了 RAG 在混合检索场景中的查询重写和检索逻辑

    56610

    「最佳实践」腾讯云 Elasticsearch 8.13.3 向量混合检索

    // 混合多路检索GET dpcq_verctor_bbz768/_search{ "size": 2, "query": { "match": { "text_field": {...return keyword return ""# 品牌标签keywords = [ "华为", "苹果", "小米", "OPPO", "vivo", "三星", "一加"...检索效果测试我们模拟用户在商城搜索栏输入一个手机型号：小米 12 pro max ● 向量检索结果可能会召回不相关的内容 ● 而使用 ES 的混合检索，利用前置过滤，在提高效率的同时，可以大幅提升召回率...● ES 也支持在在混合检索场景使用聚合查询 10....总结从检索效果可以直观看出，使用纯向量检索，往往是达不到业务需求的。如果想提升召回率，则需要配合混合检索，不仅可以提前过滤一些不相关的内容，对性能也有一定提升。

    1.2K76

    RAG 检索全攻略：从原理到落地，一篇搞懂混合检索

    ❝做 RAG 系统，十个团队九个栽在检索上。本文把语义检索、关键词检索、混合检索、Rerank 重排序一次讲清楚。 ❞ 先说结论 ❝「生产级 RAG 必须用混合检索。...」"Golang 内存泄漏排查" 支持 部分支持 支持 只有混合检索在所有场景下都能覆盖。...# 加自定义词典——效果立竿见影 jieba.add_word("深度学习", freq=10000) jieba.add_word("ChatGPT", freq=10000) jieba.add_word...所以不用操心两路检索分数量纲不同的问题。 七、Rerank 重排序：从"差不多"到"真的准" 为什么还需要 Rerank？ 混合检索的第一阶段（召回）追求的是「快」和「全」，精度是有限的。...，但真正做好需要理解： 「语义检索」理解"你想问什么"，但对精确术语无能为力 「关键词检索」擅长精确匹配，但对同义表述视而不见 「混合检索」是唯一的正确答案，关键在于选对技术路线 「Rerank」 是从

    23410

    向量检索实战 —— OpenClaw 如何实现混合搜索（向量 + 全文）

    关键词：混合检索｜向量数据库｜SQLite FTS5｜ONNX 嵌入｜相似度归一化｜候选重排序 在上一篇中，我们了解了 OpenClaw 记忆系统的配置体系。...为此，OpenClaw 构建了一套轻量但强大的混合检索引擎（Hybrid Search Engine），巧妙结合向量语义搜索与全文关键词匹配，在资源受限的边缘设备（如个人服务器）上也能提供接近商业 RAG...一、为什么需要混合检索？...这是混合检索的核心——如何公平比较两个不同尺度的分数？...结语：混合检索是平衡的艺术 OpenClaw 的混合检索引擎，没有追求最前沿的 ANN 算法或最大规模的向量库，而是在实用性、性能与准确性之间找到最优解。

    1.4K21

    RAG智能问答系统为什么要使用混合检索？

    检索增强生成简称RAG（Retrieval-augmented Generation），RAG为大语言模型安装了知识外挂，基础大语言模型不用训练，通过RAG技术与大语言模型结合在回答问题的时候，可以通过企业内部的知识库检索相关和最新的信息来生成内容...01 — 为什么要用混合检索？ 在RAG智能问答系统中，RAG检索环节中的检索的方式采用向量检索，即通过语义相关度匹配的方式进行检索。...在文本搜索场景，首先需要确保最相关的结果能够出现在检索的结果中。向量检索和关键词检索各有优势，而引入混合检索结合了两种搜索技术的优点，并且弥补了各自的缺点。 02 — 什么是混合检索？...混合检索是结合了两种或者多种搜索算法提高搜索结果相关性的搜索技术。而在RAG系统中，混合搜索最常见指向量检索和关键词检索的组合。...不同的检索系统在寻找文本中各自擅长之间存在不同的联系，没有任何一种检索模式能够适用全部的情景，混合检索通过多个不同的检索系统组合，结合不同检索系统的优势，实现多个检索技术直接的互补。

    79910

    ElasticSearch实战系列02：中文+拼音混合检索，并高亮显示

    本文导读 本文仿照QQ的用户搜索，搭建一个中文+拼音的混合检索系统，并高亮显示检索字段。...【ps：留言区附完整版项目源码地址】 01 项目简介 本项目基于ElasticSearch 7.7.1，analysis-pinyin 7.7.1，参考QQ的用户搜索效果，完成一个中文+拼音的混合检索系统...中文+首字母+全拼检索 其实QQ的用户检索是有很多限制的，比如说首字母检索时，必须从第一个字开始匹配【输入“gz”，可以检索到“关注我”，但是不能检索到“我关注”】； 再比如说全拼+首字母检索时，全拼必须在前面...【输入“guanz”，可以检索到“关注我”，但是输入“gzhu”，是不能检索到结果的】； 至于为什么会有如此限制，个人猜测是考虑检索性能（PS：欢迎留言讨论）。...1.2 检索需求描述 参考QQ，列出“用户检索系统”的需求如下： 1）支持首字母检索； 2）支持首字母+全拼检索； 3）支持中文+首字母+全拼混合检索； 4）检索词有中文，则必须包含； 5）高亮显示检索命中词

    5.4K20

    HybridRAG：混合 RAG 引擎 - 知识图谱 + 向量检索！比 GraphRAG 更好！

    我们都听说过检索增强生成（RAG），许多人使用 RAG 因为它能够增强语言模型的功能，通过结合检索和生成处理来提高准确性，减少幻觉，并且更加经济高效。...通过集成基于向量和图形的检索方法，这将使框架能够以更高的精度和可靠性处理复杂数据。这使其成为传统 RAG 方法的重大进步。在这里，我想介绍一个已经实现这种混合 RAG 的框架——HybridRAG。...Vector RAG 和 GraphRAG 系统整合到一个新框架中的混合 RAG 将会提升不同 RAG 方法的能力。...通过在金融收益电话会议记录上的实验，HybridRAG 展示了其在信息检索和生成方面的优越性能。...为了解决这个问题，我们看到了混合 RAG，它结合了知识图谱和传统 RAG 技术来更好地进行信息提取。

    3.3K02

    「最佳实践」腾讯云 ES 8 向量化语义混合检索测试指南

    knn_resp = knn_search(es, index, vectors) # 调用混合检索 mix_resp = mix_search(es, index, query...{json_output}") counter += 1 counter = 1 with col2: st.write("### 混合检索结果...检索效果测试 我们模拟用户在商城搜索栏输入一个手机型号：小米 12 pro max ● 向量检索结果可能会召回不相关的内容 ● 而使用 ES 的混合检索，利用前置过滤，在提高效率的同时，可以大幅提升召回率...● ES 也支持在在混合检索场景使用聚合查询 8....总结 从检索效果可以直观看出，使用纯向量检索，往往是达不到业务需求的。如果想提升召回率，则需要配合混合检索，不仅可以提前过滤一些不相关的内容，对性能有一定提升。

    1.3K4038

    RAG智能问答系统为什么要使用混合检索？（完整版）

    01 — 为什么要用混合检索？ 基于语义的向量检索 在RAG智能问答系统中，RAG检索环节中的检索的方式采用向量检索，即通过语义相关度匹配的方式进行检索。...在文本搜索场景，首先需要确保最相关的结果能够出现在检索的结果中。向量检索和关键词检索各有优势，而引入混合检索结合了两种搜索技术的优点，并且弥补了各自的缺点。 02 — 什么是混合检索？...混合检索是结合了两种或者多种搜索算法提高搜索结果相关性的搜索技术。而在RAG系统中，混合搜索最常见指向量检索和关键词检索的组合。...，通常会支持混合检索、向量检索和全文检索。...作为平台用户可以选择使用哪种检索方式； 混合检索结合全文检索和向量检索的的优势，对召回的结果进行综合排序，让大模型生成的结果更好，也是各个平台优先推荐的；

    3.6K10

    图神经网络在信息检索重排序中的应用：原理、架构与Python代码解析

    Doc {orig_idx}: {corpus[orig_idx]} (Final Score: {final_scores[rerank_idx]:.4f})") 实验结果分析 实验结果表明，BM25检索到了相关和不太相关的文档混合体...该方法不仅对文本进行编码，还引入了知识图谱关系和实体的嵌入，并将它们混合到交叉编码器的输入或嵌入空间中。...输出是融合了隐式（文本）和显式（知识图谱）知识的混合表示，然后由重排序器使用。...但是，更有可能出现神经符号混合模型，这些模型使用大型语言模型来指导图构建，或使用图来帮助解释大型语言模型输出。...我们看到了使用图来增强单个文档分数的逐点重排序器示例，将排序本身转变为图问题的逐对和逐列表方法，以及将文本神经网络与知识图谱相结合以获得强大结果的混合模型。

    45010

    如何引入重排序提升RAG系统的效果？

    之前介绍了在RAG系统中使用混合检索，而混合检索将不同的检索技术的优势，如向量检索适合语义模型匹配，而关键词检索适合精准匹配。将不同的优势结合互补单一检索的劣势，获得更好的召回结果。...---- 01—为什么需要重排序 混合检索返回更多更好的结果，但是不同检索模型返回的查询结果需要合并和归一化处理，将数据进行归一化后，以便更好进行分析、比较和处理，然后将处理后的内容统一提供给大模型进行推理...而分析、比较和处理模型需要引入一个新的功能：重排序模型（Rerank模型）； 重排序模型通过将不同检索模型返回的文档片段列表和用户问题语义匹配度进行重新排序，改进检索返回的结果。...重排序不仅适用于不同检索结果的合并，而且适用于单一检索模型下，引入重排序模型也能有效提升和改进文档召回的效果，如我们在关键词检索之后加入重排序模型，可以有效提升关键词召回的精确度和语义相关性。...重排序模型可以计算问题和文档列表之间的相关性得分，如果将它用于直接计算问题和大量文档的相关性，效率非常低，因此大多数情况下重排序主要出现在单一检索后的流程中以及混合检索后合并的流程中。

    1.4K10

    信息检索重排序技术深度解析：Cross-Encoders、ColBERT与大语言模型方法的实践对比

    现代搜索系统的核心挑战不仅在于从海量文档集合中检索相关信息，更在于对检索结果进行精准排序，确保用户能够快速、可靠且经济高效地获得所需信息。...该技术的核心优势在于能够对初始检索获得的候选文档集（如前50名结果）进行精确重排序，使最相关的答案优先展示。在高精度要求场景中，这种排序准确性直接影响用户对系统的信任度以及最终的转化效果。...ColPali目前在PDF检索领域达到了业界领先水平，支持在无需预先文本提取的情况下实现高效的PDF文档搜索。...该方案主要适用于查询频次较低但单次查询价值极高的专业场景，例如金融机构的研究分析查询或法律团队的判例深度检索。实践中可将LLM重排序与成本更低的方法相结合，仅在处理复杂查询或进行最终结果优化时启用。...技术发展趋势与前瞻 信息检索领域正在快速演进发展。

    56310

    向量数据库如何实现混合检索？腾讯云方案为何成为企业首选？

    摘要 在AI时代，非结构化数据检索面临语义理解与精准匹配的双重挑战。混合检索（向量+标量字段过滤）通过结合语义相似度与结构化条件筛选，成为破局关键。...本文解析混合检索技术原理，对比主流方案差异，并重点推荐腾讯云向量数据库的混合检索能力及其商业价值。 正文 当企业需要同时实现“语义理解”和“关键词过滤”时，传统向量数据库的单一能力已显不足。...混合检索通过融合稠密向量与稀疏向量技术，正在重塑数据检索的效率标准。作为国内首个通过信通院认证的向量数据库服务商，腾讯云如何通过技术创新解决这一难题？...一、混合检索的技术演进 1.1 单一检索的局限性 纯语义检索：依赖向量相似度，易遗漏关键词匹配（如“AI大模型”可能匹配“人工智能模型”但无法识别“LLM”缩写） 纯标量检索：依赖精确匹配，无法处理语义同义词...召回率与效率平衡 需复杂排序算法 二、腾讯云混合检索方案解析 2.1 核心能力矩阵 腾讯云向量数据库通过三大技术创新实现混合检索突破： 双引擎架构： 稠密向量引擎：支持768

    36510

    RAG系统文本检索优化：Cross-Encoder与Bi-Encoder架构技术对比与选择指南

    Cross-Encoder的数学表示如下： 首先进行文本拼接： C = concat(A, B) 然后使用Transformer T进行联合编码： H = T(C) 最后通过评分层计算相似度（例如前馈网络加sigmoid...混合架构策略 实际生产系统中，混合架构成为平衡效率与精度的有效解决方案。...典型的混合策略采用两阶段处理模式：首先使用Bi-Encoder进行快速检索，从大规模候选集中筛选出top-K个最相关的候选项；随后采用Cross-Encoder对这些候选项进行精确重排序，获得最终的排序结果...这种检索-重排序的流水线设计在Google、Bing等主流搜索引擎以及各类RAG系统中得到广泛应用，有效实现了速度与精度的最优平衡。...Cross-Encoder架构则更适合重复内容检测、法律和医学文本分析、释义识别以及重排序等对精度要求极高的任务。其强大的交互建模能力能够准确捕获复杂的语义关系。

    34310

    Elasticsearch open Inference API 增加了对 Cohere Rerank 3 模型的支持

    Elastic 的混合搜索方法在寻求实现 RAG（检索增强生成）时，检索和重排的策略是客户锚定 LLMs 并实现准确结果的关键优化。...为了适应模型令牌限制，对文档进行分块是进行密集向量检索时的必要约束。但是，基于 Cohere 的重排方法，可以基于整个文档中包含的上下文，而不仅仅是文档中的特定块，看到重排带来的显著好处。...Elasticsearch 加速路线图，实现语义重排和检索器在 即将到来的 Elasticsearch 版本中，我们将继续为中阶段和最终阶段的重排器构建无缝支持。...我们的最终目标是使开发人员能够使用语义重排来改善任何搜索的结果，无论是 BM25、密集或稀疏向量检索，还是与混合检索的组合。...检索器将知道已经执行了 kNN 查询，并无缝地使用在配置中指定的 Cohere rerank 推理端点进行重排。同样的原则可以应用于 任何 搜索，BM25、密集、稀疏和混合。

    1K11
    点击加载更多

    相关资讯

    热门标签

    更多标签

    活动推荐

      运营活动

      活动名称
      广告关闭

      腾讯云开发者

      扫码关注腾讯云开发者

      扫码关注腾讯云开发者

      领取腾讯云代金券

      热门产品

      热门推荐

      更多推荐

      Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有

      深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 粤公网安备44030502008569号

      腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号

      领券