最新研究！谷歌利用大模型LLM扩展搜索查询

大家好，我是对白。

Query扩展是一种广泛使用的技术，可以提高搜索系统的召回率。

最近，借助 LLM 强大的理解与生成能力，结合基础大语言模型，使用LLM来帮助查询扩展 诞生了！

在本文中，提出了一种利用大型语言模型（LLM）的生成能力进行查询扩展的方法。与传统的查询扩展方法不同，如伪相关反馈（PRF）依赖于检索一组好的伪相关文档来扩展查询，依赖LLM的生成和创造性能力，并利用模型中固有的知识。研究了各种不同的提示，包括零样本、少提示和思维链（CoT）。最后发现，CoT提示对于查询扩展特别有用，因为这些提示指示模型逐步分解查询，并且可以提供大量与原始查询相关的术语。在MS-MARCO和BEIR上的实验结果表明，LLM生成的查询扩展比传统的查询扩展方法更强大。

论文题目：Query Expansion by Prompting Large Language Models 论文链接：https://arxiv.org/pdf/2305.03653.pdf

早期的Query扩展

查询扩展的核心是通过将查询术语扩展为表达相同概念或信息需求的新术语来帮助检索系统，从而增加与语料库中的文档进行词汇匹配的可能性。

早期关于查询扩展的工作侧重于使用词汇知识库或伪相关反馈（PRF）。基于PRF的方法在实践中特别有用，因为它们不需要构建特定领域的知识库，并且可以应用于任何语料库。

与查询扩展正交的是文档扩展，它应用了类似的技术，但在索引期间扩展文档术语，而不是在检索期间扩展查询术语。最近关于查询扩展的工作利用神经网络生成或选择扩展项，通常通过训练或微调模型。相比之下，作者的工作利用了通用LLM固有的能力，而无需训练或微调模型。

结合LLM的Query扩展

框架图

在本文中，作者建议使用大型语言模型（LLM）来帮助查询扩展。

近年来，LLM对信息检索（IR）社区的兴趣越来越大。它们具有多种特性，包括回答问题和生成文本的能力，这使它们成为强大的工具。作者建议使用这些生成能力来生成有用的查询扩展。特别是，研究了提示LLM的方法，并让它为原始查询生成各种替代术语和新术语。这意味着，我们不依赖PRF文档或词汇知识库中的知识，而是依赖LLM中固有的知识。所提出方法的一个示例如图1所示。

总的来说，首先作者制定了执行查询扩展的各种提示（零样本，少量发射和CoT），以研究它们的相对性能。

其次作者发现思维链（CoT）提示表现最好，并假设这是因为CoT提示指示模型逐步分解其答案，其中包括许多有助于查询扩展的关键字。

最后，作者研究了各种模型大小的性能，以更好地理解LLM方法的实际功能和查询扩展的局限性。

Query扩展问题公式

将查询扩展问题公式化如下：

给定一个查询𝑞 我们希望生成一个扩展查询𝑞’其包含可能有助于检索相关文档的附加查询术语。特别是，我们研究了LLM的使用来扩展查询项并生成新的查询𝑞’。由于LLM输出可能很冗长，我们将原始查询项重复5次，以提高它们的相对重要性。

其中Concat是字符串串联运算符，𝑞 是原始查询，LLM是大型语言模型和提示𝑞 是基于查询生成的提示（以及潜在的辅助信息，如少数镜头示例或PRF文档）。

八种Prompt

在本文中，我们研究了八种不同的提示：

实验

为了验证基于LLM的查询扩展的有效性，在两个检索任务上进行了实验：MS-MARCO文章检索和BEIR。对于检索系统，使用由Terrier实现的BM25，默认的BM25参数(𝑏 = 0.75, 𝑘1 = 1.2, 𝑘3=8.0）。

MS-MARCO排名

表1显示了MS-MARCO文章排名任务的结果。经典的查询扩展基线（Bo1、Bo2和KL）已经在以下方面提供了有用的增益Recall@1K超过标准BM25检索。观察到召回率的增加是以排名靠前的指标为代价的，例如MRR@10和NDCG@10。

BEIR

BEIR数据集包含来自不同领域的许多不同的零样本信息检索任务。比较了表2中BEIR数据集上不同提示的性能。

经典的基于PRF的查询扩展基线仍然工作得很好，尤其是在特定于域的数据集上，如trec-covid、scidocs和touche2020。这些数据集在很大程度上是学术性和科学性的，在这些情况下，PRF文件可能会提供有用的查询术语。相反，通用LLM可能没有足够的领域知识来对这些数据集有用。

在问答式数据集（fiqa、hotpotqa、msmarco和nq）似乎从LLM查询扩展方法中受益最大。语言模型很可能正在生成针对查询的相关答案，这有助于更有效地检索相关段落。

模型尺寸的影响

为了理解基于LLM的查询扩展器的实际功能和局限性，在图2中比较了不同的模型大小。将模型大小从60M参数（Flan-T5小）到11B（Flan-T5-XXXL）不等，还尝试了20B参数模型（Flan-UL2），但注意后者也有不同的预训练目标。

小结

在本文中，作者研究了基于LLM的查询扩展。与传统的基于PRF的查询扩展不同，LLM不限于初始检索的文档集，并且可以生成传统方法未涵盖的扩展项。作者提出一个大型语言模型并为其提供一个查询，然后使用模型的输出用新的术语扩展原始查询，这些术语有助于文档检索。

实验结果表明，思想链提示对于查询扩展特别有前途，因为它们指示模型生成详细的解释，这些解释可以涵盖各种各样的新关键字。此外，在各种提示中包含PRF文档可以提高检索阶段的头重脚轻排名度量性能，并且在与较小的模型大小一起使用时更具鲁棒性，这有助于基于LLM的查询扩展的实际部署。

如果觉得有用，就请分享到朋友圈吧。