文档建议反馈控制台
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
发布

BM25 检索是什么

第一部分：BM25检索介绍BM25是一种用于信息检索的概率性排序函数，它用于估算文档与查询的相关性分数。...它是经典的TF-IDF方案的进化，但效果通常更好，是现代搜索引擎中的基石算法之一（尽管很多最新系统已经转向基于神经网络的模型，但BM25依然是一个强大且高效的基线）。...公式分解最常用的BM25公式（OkapiBM25）如下：对于一个查询(Q)，包含多个词项(q_1,q_2,......第二部分：C++实现下面是一个简化但功能完整的BM25检索系统实现。它包含以下部分：Document：表示一个文档。BM25：核心算法类，负责建立索引和计算分数。...BM25类：addDocuments：该方法接收文档集合，计算全局统计信息（平均文档长度avgdl_和每个词项的文档频率doc_freq_）。这相当于“构建索引”的过程。

42010
    • 您找到你想要的搜索结果了吗？
    是的
    没有找到

    自然语言处理-搜索中常用的bm25

    BM25算法是一种常见用来做相关度打分的公式，思路比较简单，主要就是计算一个query里面所有词和文档的相关度，然后在把分数做累加操作,而每个词的相关度分数主要还是受到tf/idf的影响。...BM25在实际应用中效果要远远好于BIM模型。...具体的bm25 bm25算法是常见的用来计算query和文章相关度的相似度的。...来举个栗子：“bm25”这个词只在很少一部分的文章中出现，n(qi)就会很小，那么“bm25”的IDF值就很大；“我们”，“是”，“的”这样的词，基本上在每一篇文章中都会出现，那么n(qi)就很接近N，...我们把K的展开式带入到bm25计算公式中去： ? 以上就是bm25算法的流程了。 以下是实现过程：

    6.6K10

    深入理解TF-IDF、BM25算法与BM25变种：揭秘信息检索的核心原理与应用

    深入理解TF-IDF、BM25算法与BM25变种：揭秘信息检索的核心原理与应用 1.文本特征表示方法: TF-IDF 在信息检索, 文本挖掘和自然语言处理领域, IF-IDF 这个名字, 从它在 20...以下是BM25的一些重要的变种和衍化算法： BM25L（BM25 with Length Normalization）：BM25L算法是在BM25算法的基础上，考虑了文档长度对得分的影响，通过引入文档长度规范化项来平衡不同长度的文档...2.1 BM25详解 首先，简单概括 BM25 究竟作何用途。BM25 算法实质上是一个用于信息检索中，对给定查询（query）和若干 “相关” 文档（document）进行相关性排序打分的排序函数。...从以上对 BM25 的完整讨论，我们知道了 BM25 其实是一个（准确说，是一系列）经验公式，这里面的每一个环节都是经过很多研究者的迭代而逐步发现的。...他们在 “When documents are very long, BM25 fails!” 一文中提出了 BM25L 算法，用来弥补 BM25 的这一不足。

    3.3K30

    BM25 比语义向量检索效果好？

    NewBeeNLP公众号原创出品 公众号专栏作者 @Maple小七 北京邮电大学·模式识别与智能系统 TL;DR 虽然以SentenceBERT为代表的语义向量检索展现出了超越传统的以BM25...Information Retrieval for Large Index Sizes 链接：https://arxiv.org/abs/2012.14210 开篇 传统的信息检索技术通常使用TF-IDF、BM25...下表展示了稠密向量与BM25向量比较的相对错误率，随着索引量的增大，稠密向量检索和BM25向量检索的差距逐渐减小。 ?...值得注意的是，BM25却完全没有受到随机字符串的影响，这是因为生成和查询词汇匹配的字符串的概率是非常低的。...因此并不是在任何场景下稠密检索都要优于稀疏检索，SentenceBERT也并不能完全替代BM25。

    2.9K20

    炼丹秘术：为了赢，我重新捡起了BM25

    毕业快4年了，最近准备梳理一下《我毕业这4年》，在整理文档时看到了好久之前的一个比赛，想起了当时TFIDF、BERT的方案都没在指标上赢过BM25的情景，本文作为“炼丹秘术”系列的第7期，我们来聊一聊相似文本搜索的相关知识点...什么是BM25 BM25是信息索引领域用来计算Query与文档相似度得分的经典算法，不同于TFIDF，BM25的公式主要由三个部分组成： 对Query进行语素解析，生成语素qi； 对于每个搜索结果...BM25的实现 class BM25: def __init__(self, corpus, tokenizer=None): self.corpus_size = len(corpus...同时对句子中的词使用IDF为权重进行加权得到Sentence Embedding，同时为了得到更好的效果，这里做了一个改进，即使用Smooth Inverse Frequency代替IDF作为每个词的权重；其二是利用BM25

    51420

    搜索中的权重度量利器: TF-IDF和BM25

    这里介绍2种重要的权重度量方法：TF-IDF和BM25。 在进入理论探讨之前，我们先举个例子。假如，我们想找和“Lucence”相关的文章。...作为默认的相关性算法，而是采用了BM25(BM是Best Matching的意思)。...BM25是基于TF-IDF并做了改进的算法。 BM25中的TF 传统的TF值理论上是可以无限大的。而BM25与之不同，它在TF计算方法中增加了一个常量k，用来限制TF值的增长极限。...BM25如何对待文档长度 BM25还引入了平均文档长度的概念，单个文档长度对相关性的影响力与它和平均长度的比值有关系。BM25的TF公式里，除了k外，引入另外两个参数：L和b。...BM25在传统TF-IDF的基础上增加了几个可调节的参数，使得它在应用上更佳灵活和强大，具有较高的实用性。

    2.1K21

    RAG检索策略深度解析：从BM25到Embedding、Reranker，如何为LLM选对“导航系统”？

    二、经典永流传：BM25——关键词匹配的“老兵” BM25（Best Matching 25）是一种久经考验的排序算法，广泛应用于传统搜索引擎中。...但BM25会进行“饱和度”处理，避免某些超高频词过度影响结果。...BM25、全文搜索与倒排索引：它们是如何协同工作的？...• BM25：在通过倒排索引找到候选文档后，BM25算法登场，为每个文档计算一个相关性得分，然后按分排序，将最相关的结果呈现给用户。 把它们比作在图书馆找特定主题的书籍： 1....可以看作是BM25等基于词频方法的延伸和智能化，试图在关键词匹配的基础上增加一些语义理解。

    2.1K10

    预训练模型与传统方法在排序上有啥不同？

    本文首先通过回答以下问题深入了解 CE（Cross-Encoder）BERT和 BM25（排名）的相互关系： CE 和 BM25 排名有何不同？ CE 能否对 BM25 检索到的文档进行更好地排名？...问题1：CE 和 BM25 排名有何不同？ 结果如下图（a）所示： CE 和 BM25 在顶部差异很大（CE@10 33%），低排名（CE@1000 60%）时相反。...BM25 排名靠前的文档很少被 CE 评为低，说明精确匹配是一种重要的基础排名策略。 问题2：CE 能否对 BM25 检索到的文档进行更好地排名？...对不相关文档（图d），CE 从低排名中给 CE@10 带来了大量不相关文件，高估了 BM25 正确认为不相关的文档。 问题3：CE 能否更好地找到 BM25 漏掉的文档？...CE 低估了 BM25 正确排名的一些高度相关的文档，同时又高估了不相关的文档。精度的提高主要源于将高度相关的文档从 BM25 的后面提到前面。

    86730

    搜索引擎打分机制揭秘：TF-IDF 和 BM25 真的在做“向量化”吗？

    那么，TF-IDF 或 BM25 中的权重（比如 IDF 值）是不是“词向量”？ 也不是。...所以 BM25 引入了“饱和机制”：次数多了，加分就变慢。...所以 BM25 会惩罚过长的文档，避免它们靠堆字数占便宜。 把上面的逻辑变成公式对于一个词 t 和一篇文档 d，BM25 的得分是： 别被吓到！...但这是新一代技术，和 BM25 属于不同范式。目前工业界主流做法是： BM25（关键词匹配） + 向量检索（语义匹配） → 混合搜索（Hybrid Search）既保证精准召回，又覆盖语义泛化。...总结一句话： BM25 不是向量化，而是一套基于统计的“现场打分规则”，高效、可解释、工程友好

    27010

    ES系列13：彻底掌握相关度：从TF-IDF、BM25到对相关度的控制

    2.5 BM25 整体而言 BM25 就是对 TF-IDF 算法的改进，对于 TF-IDF 算法，TF(t) 部分的值越大，整个公式返回的值就会越大。...BM25 就针对这点进行来优化，随着TF(t) 的逐步加大，该算法的返回值会趋于一个数值。 ? 该图来自ES官网 BM25 有一个比较好的特性就是提供了两个可调参数： ?...，BM25（度）= 0.6099695； 5）根据"description": "sum of:",当检索【es的相关度】，文档1的_score = BM（es）+ BM25（的）+ BM25（相关...根据结果，我们可以看到：对应文档的_score = BM25（es in title） + BM25（es in content）；其中BM25（es in title）= boost * idf *...4.4 更改BM25 参数 k1 和 b 的值 在介绍BM25算法时，我们知道 k1 参数【默认值1.2】控制着词频结果在词频饱和度中的上升速度。

    2.1K20

    改进 Elastic Stack 中的信息检索：混合检索

    BM25 搜索是使用匹配查询和使用带有script_score查询的精确向量搜索的密集检索来执行的。...此外，重要的是，对于所有测试数据集，结果都优于或类似于单独的 BM25。无需模型调整、训练数据集或特定校准即可实现改进的排名。...BM25 检索通常比语义检索更快，这一事实缓解了这一问题。我们的研究结果表明，倒数排名融合可以安全地用作有效的“即插即用”策略。...作为参考，还显示了 BM25、弹性学习稀疏编码器和 RRF NDCG@10。这种曲线在数据集中很常见。...要使用这种方法，应该对分数进行归一化，这对于 BM25 来说需要典型查询的分数分布，此外还应该使用一些带注释的数据来训练方法权重。

    2.9K31

    Sparse稀疏检索介绍与实践

    Sparse稀疏检索介绍 在处理大规模文本数据时，我们经常会遇到一些挑战，比如如何有效地表示和检索文档，当前主要有两个主要方法，传统的文本BM25检索，以及将文档映射到向量空间的向量检索。...传统的BM25文本检索其实就是典型的sparse稀疏检索，在BM25检索算法中，向量维度为整个词表，但是其中大部分为0，只有出现的关键词或子词（tokens）有值，其余的值都设为零。...BM25虽然能够计算文档的相关性，但它无法理解词语的含义或上下文的重要性。而稀疏向量则能够通过神经网络捕捉到这些细微的差别。...稀疏向量举例 SPLADE 是一款开源的transformer模型，提供sparse向量生成，下面是效果对比，可以看到sparse介于BM25和dense之间，比BM25效果好。...测试出来的结果要更好，但是仅凭这个尚不能否定BM25，需要综合看各自的覆盖度，综合考虑成本与效果。

    1.1K10

    RAG性能优化杀器，引入上下文检索！

    BM25（最佳匹配 25）是一种排名函数，使用词汇匹配来查找精确的单词或短语匹配。对于包含唯一标识符或技术术语的查询，它特别有效。 BM25 基于 TF-IDF（词频-逆文档频率）的概念。...BM25 通过考虑文档长度并对词频应用饱和函数来改进这一点，这有助于防止常见词主导结果。 以下是 BM25 在语义嵌入失败时的成功之处：假设用户查询“错误代码 TS-999”在技术支持数据库中的信息。...而 BM25 则通过查找这个特定的文本字符串来识别相关文档。...通过利用 BM25 和嵌入模型，传统的 RAG 系统可以提供更全面和准确的结果，平衡精确术语匹配和广泛语义理解。 标准的 RAG 系统使用嵌入和 BM25 结合检索信息。...2 引入上下文检索 上下文检索通过在嵌入前将块特定的解释性上下文添加到每个块中（“上下文嵌入”）以及创建 BM25 索引（“上下文 BM25”）来解决此问题。 回到美国证券交易委员会文件的例子。

    28710

    TF-IDF 在搜索引擎中到底怎么用？——回应一个常见疑问

    以下是真实做法：✅1.更常用的是BM25，而非TF-IDF余弦BM25是一种基于概率模型的排序函数，公式如下：其中：是词频是文档长度是平均文档长度是调节参数（通常）BM25天然包含文档长度归一化，能有效缓解长短文本不匹配问题...今天主流搜索引擎（如Elasticsearch、Lucene）默认使用BM25作为基础排序算法，而非TF-IDF余弦。...维度对齐，效果稳定短查询vs长文档检索⚠️可用于原型验证，但上线建议用BM25或更高级方法总结你的疑问完全合理：短查询与长文档直接用TF-IDF余弦确实存在不对称性。...实际搜索系统已进化：BM25、神经排序、多信号融合才是主流。学习建议：理解TF-IDF是基础，但进阶需了解BM25和Learning-to-Rank。

    20210

    改进 Elastic Stack 中的信息检索：对段落检索进行基准测试

    从历史上看，BM25 和学习检索模型之间的比较一直基于有限的数据集，甚至仅基于这些密集模型的训练数据集：MSMARCO，这可能无法准确表示模型在数据上的性能。...尽管这种方法对于展示密集模型在特定领域中对抗 BM25 的表现非常有用，但它并没有抓住 BM25 的关键优势之一：它能够在许多领域中表现良好，而无需监督微调。...BM25 和域外密集模型在我们之前的博客文章中，我们注意到密集模型由于其训练设计，需要针对特定数据集进行优化。...图片这两个密集模型在 MSMARCO 上的性能均优于 BM25（如BEIR 论文中所示），因为它们是专门针对该数据集进行训练的。然而，它们在域外通常更糟。...第二种方法 (FineTuned B) 涉及使用带标签的正面文档，并使用BM25来识别与BM25的角度相似但未标记为正面的查询文档。这些被称为“hard negatives”。

    1.8K31
    点击加载更多

    相关资讯

    热门标签

    更多标签

    活动推荐

      运营活动

      活动名称
      广告关闭

      腾讯云开发者

      扫码关注腾讯云开发者

      扫码关注腾讯云开发者

      领取腾讯云代金券

      热门产品

      热门推荐

      更多推荐

      Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有

      深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 粤公网安备44030502008569号

      腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号

      领券