推荐的搜索相关性 - 腾讯云开发者社区

文章/答案/技术大牛

发布

智能推荐：“相关性搜索”只给你最想要的

换言之，就是如何正确地理解用户意图，提高搜索的相关性，为用户提供满意的搜索结果。什么是相关性所谓相关性，就是根据内容对用户及业务需求的满足程度，对搜索内容进行排名的一门学问。...然而，技术只是实现相关性的工具，明白要做什么可能比知道怎么做更重要。“相关性”在某个具体应用里的含义大相径庭。在不同的应用中其搜索相关性大不相同我们很容易误以为搜索是一个单一问题。...电商网站为了达成交易，就要根据用户的搜索行为、历史数据等信息，为用户推荐合适的商品，促进销售。医疗、法律和学术研究领域的专家搜索，通过更为深入地挖掘文本来定义相关性。...信息检索与相关性那么，搜索的相关性有系统性的基础和通用的工程性原则吗？答案是有的。事实上，在相关性的背后藏着一门学问：学术领域里的信息检索（information retrieval）。...搜索要解决的那些隐含在其中而未加指明的信息需求是什么？如何解决相关性开源搜索引擎可以通过编程的方式将我们对相关性的理解植入搜索引擎，打造相关性解决方案，使之既满足用户需求，又符合业务目标。

1.5K4 0

如何提高Elasticsearch搜索的相关性

什么是相关性首先需要了解什么是相关性？默认情况下，搜索返回的结果是按照相关性进行排序的，也就是最相关的文档排在最前。...相关性是由一个所谓的打分机制决定的，每个文档在搜索过程中都会被计算一个_score字段，这是一个浮点数类型，值越高表示分数越高，也就是相关性越大。...具体的评分算法不是本文的重点，但是我们可以通过一个查询示例了解下评分的过程。...ES对于一次搜索请求提供了一种explain的机制，设置为true的情况下，查询结果会额外输出一些信息，我们一起来看下这些信息。...其中n表示包含metricbeat这个词的文档数量。N表示一共有多少文档（基于分片）。提高搜索的相关性我们通过一个示例来展开这部分的讨论。

1.1K1 0

您找到你想要的搜索结果了吗？

是的

没有找到

WordPress 技巧：提高 WordPress 搜索的相关性

实在扛不住 Google 自定义搜索的速度了，把我爱水煮鱼的搜索换回了 WordPress 自带的搜索，但是 WordPress 的默认搜索结果是按照文章的发布时间来排序的，这样的搜索结果的相关性并不强...，应该让搜索结果按照内容相关性排序，而不是按照时间或者 ID，所以我们可以在当前主题的 functions.php 添加如下代码来增强 WordPress 搜索的相关性： add_filter('posts_orderby_request...{$wpdb->posts}.post_modified DESC, {$wpdb->posts}.ID ASC"; }else{ return $orderby; } } 上面的代码就是使得搜索的结构...d先按照日志的标题的相关性排序，然后按照日志的内容，最后才是日的志修改时间和 ID，这样的修改之后，WordPress 搜索的结果相关性就提高了很多。

3043 0

《搜索和推荐中的深度匹配》——1.1搜索和推荐

如今，两种类型的信息访问范例，即搜索和推荐，已广泛用于各种场景中。在搜索中，首先会对文档（例如Web文档，Twitter帖子或电子商务产品）进行预处理并在搜索引擎中建立索引。...此后，搜索引擎从用户那里进行查询（多个关键字）。该查询描述了用户的信息需求。从索引中检索相关文档，将其与查询匹配，并根据它们与查询的相关性对其进行排名。...例如，如果用户对有关量子计算的新闻感兴趣，则查询“量子计算”将被提交给搜索引擎，并获得有关该主题的新闻报道。与搜索不同，推荐系统通常不接受查询。...搜索的基本机制是“拉”，因为用户首先发出特定的请求（即提交查询），然后接收信息。推荐的基本机制是“推送”，因为向用户提供了他们没有明确要求的信息（例如，提交查询）。...表1.1：搜索和推荐的信息提供机制

1.1K1 0

QQ 浏览器搜索相关性实践

搜索相关性主要指衡量Query和Doc的匹配程度，是信息检索的核心基础任务之一，也是商业搜索引擎的体验优劣最朴素的评价维度之一。...本文主要介绍QQ浏览器搜索相关性团队，在相关性系统、算法方面的实践经历，特别是在QQ浏览器·搜索、搜狗搜索两个大型系统融合过程中，在系统融合、算法融合、算法突破方面的一些实践经验，希望对搜索算法、以及相关领域内的同学有所帮助及启发...5、搜索相关性技术实践 5.1 相关性标准 QQ浏览器搜索下的相关性标准，主要用于基础相关性样本的标注，为了能精细化的表达是否相关这一概率，我们将相关、不相关这个二分类任务，拓展到了五档分类，能够提供更多的监督信息...5.2 相关性的技术架构 5.3 深度语义匹配实践 5.3.1 QQ浏览器搜索相关性的困难与挑战 QQ浏览器的搜索业务每天服务于亿万网民的查询检索，因为业务场景偏向于综合搜索业务，每天的用户的查询表达都呈现海量量级...也同时在工业界成为解决搜索、推荐等领域的标准范式。

1.5K3 0

Elasticsearch RAG案例：混合搜索的相关性调优

虽然向量搜索可以对查询进行语义分析，但当涉及到短文本时，语义的表示和理解可能不够准确，导致结果的相关性不佳。...向量搜索以词嵌入的方式表示数据，在搜索的透明性和可解释性上对人类有天然的障碍，人类即无法轻易理解两个嵌入到底第为何相似，也难以知道应该具体如何修改特征，以提升相关性； embedding模型的修改、调优...很多时候，因为相关性打分方式的不同，不同的搜索方式会产生区别很大的相关性分数，单一的权重很难照顾各种场景，因为提升了全文检索的权重，使得我们无法回答语义检索相关的问题：因此，我们还提供一种无需根据相关性打分而进行结果有效融合和排序的方式...在使用了RRF之后，结果不再包含相关性的得分，而是根据多路召回中文档的排名进行融合：对搜索条件进行过滤除了排序之外，过滤也是混合搜索或者向量检索中一个非常重要的能力，排除一些不符合条件的文档，既能够让我们的查询更高效...但调试检索的相关性则更需要对搜索相关经验和能力的加持。

4.4K8 3

SIGIR2023｜当搜索遇到推荐: 搜索增强的序列推荐框架

TLDR: 本文针对移动互联网业务中用户在app中既使用搜索又使用推荐服务的场景，提出了一种搜索增强的序列推荐框架SESRec。...短视频场景中用户搜索和推荐行为的例子如上图，用户观看了一段关于狗的视频后，选择点评论区推荐的query（被动搜索）以了解更多信息。...对于推荐行为来说，相似的搜索行为反映了用户在使用产品时重叠的强烈兴趣，应予以加强；不相似的搜索行为可能是未被推荐系统发现的兴趣，如：用户的新偏好，也应作为推荐兴趣的补充予以增强。...同传统的序列推荐不同，搜索增强的序列推荐同时考虑了用户的历史搜索行为（提出过的query以及点击过的物品序列，和）和推荐行为（）来建模用户兴趣并预测下一次的交互。...由于缺乏搜推行为之间相似兴趣的标签，我们使用了自监督来引导模型学习相似和不相似的兴趣。具体而言，我们利用协同注意机制来学习搜索和推荐表征之间的相关性。

9832 0

QQ浏览器是如何提升搜索相关性的？

导言 | 搜索相关性主要指衡量Query和Doc的匹配程度，是信息检索的核心基础任务之一，也是商业搜索引擎的体验优劣最朴素的评价维度之一。...搜索相关性介绍 1）搜索主体框架在介绍相关性实践前，首先介绍下系统当前的现状。...搜索相关性技术实践 1）相关性标准 QQ浏览器搜索下的相关性标准，主要用于基础相关性样本的标注，为了能精细化的表达是否相关这一概率，我们将相关、不相关这个二分类任务，拓展到了五档分类，能够提供更多的监督信息...2）相关性的技术架构 3）深度语义匹配实践 QQ浏览器搜索相关性的困难与挑战 QQ浏览器的搜索业务每天服务于亿万网民的查询检索，因为业务场景偏向于综合搜索业务，每天的用户的查询表达都呈现海量量级，...、推荐等领域的标准范式。

1.9K1 0

通过数据驱动的查询优化提高搜索相关性

我们可以使用来自用户点击的数据或明确的反馈（例如，对一个结果点赞或者踩）来推动调整查询参数以提高搜索相关性吗？我们可以，所以让我们开始行动吧!...正如我们在上面看到的，对于用户生成的内容尤其如此。衡量搜索相关性我们在这篇博文中的目标是建立一种系统化的方法来调整查询参数，以提高我们搜索结果的相关性。...参数空间是指所有参数组合的可能值的世界。在参数优化的背景下（挑选出能使某些指标或分数最大化的参数值），搜索参数是我们的自变量，相关性指标是我们的因变量。...贝叶斯优化不是像在网格搜索中那样尝试所有可能的参数值组合，而是根据之前的相关性指标分数来决定接下来要尝试哪些参数值。贝叶斯优化将寻找尚未看到但看起来可能包含更好相关性指标分数的参数空间区域。...这告诉我们，我们确实可以利用数据和有原则的方法，通过优化查询参数来提高搜索的相关性!

3.1K29 1

《搜索和推荐中的深度匹配》——2.2 搜索和推荐中的匹配模型

接下来，我们概述搜索和推荐中的匹配模型，并介绍潜在空间中的匹配方法。 2.2.1 搜索中的匹配模型当应用于搜索时，匹配学习可以描述如下。...，N）分别表示查询，文档和查询文档匹配度（相关性）。...每个元组 r）∈D的生成方式如下：查询q根据概率分布P（q）生成，文档d根据条件概率分布P（d∣q）生成，并且相关性r是根据条件概率分布 P（r∣q，d）生成的。...这符合以下事实：将query独立提交给搜索系统，使用query words检索与query关联的文档，并且文档与query的相关性由query和文档的内容确定。...2.2.3 潜在空间中匹配如第1节所述，在搜索和推荐中进行匹配的基本挑战是来自两个不同空间（查询和文档以及用户和项目）的对象之间的不匹配。

1.7K3 0

教你评估搜索相关性(第1部分)

评估搜索相关性 - 第1部分这是一个系列博客的第一篇，讨论如何在更好地理解 BEIR 基准的背景下评估自己的搜索系统。...最后，我们指出 LLMs 提供了一个强大的新工具，可以帮助搜索工程师评估搜索效果，并通过示例展示如何使用它们来帮助评估搜索。引言要改进任何系统，您需要能够衡量其表现。...对于人类交互的搜索系统来说，顶部结果的相关性至关重要。然而，评估搜索时有许多细微差别，一个单一的总结统计数据可能会忽略这些细节。...BEIR 数据集的结构每个基准有三个部分：检索的文档（语料库）查询查询的相关性判断（即 qrels）相关性判断以零或更大的分数提供。非零分数表示文档与查询有一定的关系。...这是衡量模型整体质量的一个很好的代理，但它并不一定能告诉您它对您的特定任务的表现。由于结果是按数据集报告的，值得理解不同数据集与您的搜索任务的相关性，并仅使用最相关的数据集对模型进行重新评分。

2802 1

大众点评搜索相关性技术探索与实践

（奶茶果汁）、用户推荐菜品（奥利奥利奶茶）、标签（网红店）、地址（武林广场）多个字段才能判断该商户与Query“武林广场网红奶茶”的相关性。...针对菜品词较容易出现的跨菜品匹配的相关性问题（例如搜“鹅肝汉堡”匹配到售卖“牛肉汉堡”和“鹅肝寿司”的商家），分别用菜品的各个子成分与推荐菜字段进行匹配，生产大量对比样本，加强模型对于跨菜品匹配问题的识别能力...针对菜品词命中推荐菜前缀的问题，通过改造完全匹配到推荐菜的情况（搜“榴莲蛋糕”匹配到售卖“榴莲蛋糕”的商家），仅保留搜索词中的前缀，构造出匹配推荐菜前缀的对比样本（搜"榴莲"和售卖"榴莲蛋糕"的商家），...使模型能更好的区分匹配推荐菜前缀时的情况。...图6 对比样本增强示例以跨菜品匹配的相关性问题为例，如上图6所示，同样是Query拆开后与商户的多个推荐菜字段匹配的情况，Query“榴莲蛋糕”与推荐菜“榴莲千层、黑森林蛋糕”是相关的，但Query“

1.1K1 0

改进 Elastic Stack 中的信息检索：提高搜索相关性的步骤

图片自 8.0 和用于文本嵌入的第三方自然语言处理 (NLP) 模型发布以来，Elastic Stack 的用户可以访问各种模型来生成文本文档的embedding并使用向量量搜索执行基于查询的信息检索。...但考虑到各种组件及其参数，如何选择合适的设置以提供最佳搜索相关性，成为了让大多数开发者头疼的问题。...背景和术语BM25：用于词法搜索的稀疏、无监督模型Elasticsearch 根据文本查询对文档进行相关性排名的经典方式是使用 Okapi BM25 模型的 Lucene 实现。...此外，此模型对文档查询中每个单独的词的相关性分数求和，而不考虑任何语义知识（同义词、上下文等）。这称为词法搜索（与语义搜索相对）。它的缺点是所谓的词汇不匹配问题，即查询词汇表与文档词汇表略有不同。...密集模型：用于语义搜索的密集、监督模型最近，基于 Transformer 的模型允许对文本进行密集的、上下文感知的表示，解决了上述主要缺点。要构建此类模型，需要执行以下步骤：1.

4181 1

在Elasticsearch中使用NLP技术，提升搜索相关性

这些技术将使团队能够以更少的时间和精力构建复杂的支持 ML 的体验，并为如何使用相关性开辟无限的可能性。...为了构建上下文相关性并提高准确性，Elasticsearch自7.3开始，就提供了Multidimensional vector（多维字符串数组）。...现在，我们可以在Elasticsearch中部署各种NLP模型：图片对模型进行管理和监控：图片同时，对任意索引构建机器学习的推理管道：图片以进行数据的机器学习处理：图片通过集成NLP的技术，我们就可以借此提升搜索中的相关性和准确度...而筛选出来的结果，我们也需要结合BM2.5的相关性搜索算法找出的结果和基于向量相似性的匹配找出的结果进行一个综合的排序，以便我们能够通过灵活的参数调整，来获得期望中的搜索准确性图片在8.4版本的elasticsearch...它是一种基于图的索引结构，可用于快速查找数据集中与给定查询项相似的项，基于某种相似度度量。HNSW在相似性搜索、聚类和推荐系统等应用中特别有用，可以提供比其他方法更好的性能。

4.4K6 4

《搜索和推荐中的深度匹配》——1.2 搜索和推荐中匹配统一性

Garcia-Molina等【1】指出，搜索和推荐中的根本问题是识别满足用户信息需求的信息对象。还表明搜索（信息检索）和推荐（信息过滤）是同一枚硬币的两个方面，具有很强的联系和相似性【2】。...图1.1说明了搜索和推荐的统一匹配视图。共同的目标是向用户提供他们需要的信息。 ? 图1.1：搜索和推荐中匹配的统一视图搜索是一项检索任务，旨在检索与查询相关的文档。...在某些生活方式应用中，当用户搜索餐厅时，将根据相关性（查询-餐厅匹配）和用户兴趣（用户-餐厅匹配）返回结果。...明显的趋势是，在某些情况下，搜索和推荐将集成到单个系统中，以更好地满足用户的需求，而匹配在其中起着至关重要的作用。搜索和推荐已经具有许多共享技术，因为它们在匹配方面很相似。...因此，为了开发更先进的技术，有必要并且有利的是采用统一的匹配视图来分析和比较现有的搜索和推荐技术。搜索和推荐中的匹配任务在实践中面临着不同的挑战。

1.4K2 0

搜索与推荐那些事儿

搜索与推荐的区别 1....往往要在准确性和多样性之间作出权衡；搜索系统更强调相关性，如果搜索结果与用户的目标不符，用户的接受程度会很差，个性化对于搜索系统来说既没意义又有风险。...搜索与推荐的协同作用推荐中的搜索推荐服务中基于内容的推荐实际上相当于一种无声的搜索，常常在实现时会采用搜索服务的中的倒排索引等技术，例如基于内容的推荐，常常是通过规则或推荐模型得到用户感兴趣的内容的标签...，然后利用搜索服务的方法进行标签搜索和匹配即可得到最终的推荐列表。...搜索中的推荐当搜索出来符合用户的数据量很多时，需要根据推荐服务中用户画像等结果帮助搜索服务匹配用户的需求。例如周一的晚上进行搜索得到的结果列表和周五的晚上进行搜索得到结果列表就会有所差异。

1.1K2 0

搜索、推荐、广告中的曝光偏差问题

and Future Directions[1] 描述了当前的推荐系统中存在的若干种 bias，paper 将当前的推荐系统划分为 User、Data、Model 三个大模块，并将各个模块的 iteraction...，因为模型会更倾向于推荐这些物品（unbalanced training data 引起） Unfairness: 一些预估结果带有性别歧视、种族歧视等（unbalanced training data...Correlation Alignment 这个 loss 项的出发点是两个特征在 source domain 和 target domain 中的相关性是保持一致的，如下图所示，左边的图认为 price...跟 brand 是具有强相关的、brand 跟 material 中度相关、price 跟 material 弱相关，而这个损失项是基于下面两个假设产生的 (1) 相关性在 source domain...「令两个特征的相关性在 source domain 和 target domain 尽可能保持一致」, 而这里的相关性可采用协方差因此，项计算方式如下，令为 n 个 source domain

4.3K2 1

《搜索和推荐中的深度匹配》——2.3 搜索中的潜在空间模型

【1】中找到了搜索中语义匹配的完整介绍。...具体来说，我们简要介绍了在潜在空间中执行匹配的代表性搜索方法，包括偏最小二乘（PLS）【2】，潜在空间中的规则化匹配（RMLS）【3】，以及监督语义索引（SSI）【4】【5】。...2.3.1 偏最小二乘偏最小二乘（PLS）是最初提出的用于统计回归的一种技术【6】。结果表明，PLS可用于学习潜在空间模型进行搜索【7】。...为了解决这个问题，【8】提出了一种称为潜在空间中的正则化匹配 (RMLS) 的新方法，其中在解决方案稀疏的假设下，PLS 中的正交约束被 l1和 l2正则化替换。...请注意，正则化是在行向量上定义的，而不是在列向量上定义的。使用 l2 范数是为了避免结果太小。 RMLS中的学习也是一个非凸优化问题。不能保证可以找到全局最优解。

9813 0

搜索推荐系统延迟反馈问题。

作者：杰少 CVR预估中的延迟反馈问题在很多推荐搜索的建模中，我们经常会使用D+1天的数据作为label,从1~D天的数据中的进行特征抽取等工作,和我们时间序列问题建模类似,但和很多其他的时间序列问题建模不一样的地方在于...,我们的label不一定可靠,比如在传统的时间序列回归中,D+1天的销量是多少就是多少,我们没有太多的犹豫,因为不大会有其他的情况。...这在搜索推荐系统中,我们称之为延迟反馈的问题。炼问题严峻性看到这么个描述，我们似乎有了一个直观的理解，但是可能并不会过于重视，我们直观感受是，是的，但是可能比例不会很高吧，有必要重视吗？...在广告推荐中，有一个指标价值是非常大的， eCPM=CPA∗P(conversion,click)=CPA∗P(click)∗P(conversion|click), CPA: Cost per conversion...当然直观的看本文的方案，我们也可以看到本文的几点不足,我们假设发生转化的延迟时间为指数分布，这种假设可能还不够宽泛；能否替换为其他的更好的函数值得考虑。

9322 0

《搜索和推荐中的深度匹配》——2.4 推荐中的潜在空间模型

接下来，我们简要介绍在潜在空间中执行匹配的代表性推荐方法，包括偏置矩阵分解 (BMF)【1】、Factored Item Similarity Model (FISM) 【2】和分解机 (FM)【3】。...参阅《深度推荐模型——FM》 2.4.1 有偏矩阵分解偏置矩阵分解 (BMF) 是一种用于预测用户评分的模型【1】，即将推荐形式化为回归任务。...FISM 的模型公式为： image.png 这迫使正（观察到的）实例的分数大于负（未观察到的）实例的分数，边距为 1。...两种损失之间的主要区别在于，BPR 将正例和负例之间的差异强制尽可能大，而没有明确定义余量。...这两个成对损失都可以看作是 AUC 指标的替代品，该指标衡量模型正确排序了多少对项目 2.4.3 分解机 Factorization Machine (FM) 【3】是作为推荐的通用模型而开发的。

6083 0

点击加载更多

智能推荐：“相关性搜索”只给你最想要的

如何提高Elasticsearch搜索的相关性

WordPress 技巧：提高 WordPress 搜索的相关性

《搜索和推荐中的深度匹配》——1.1搜索和推荐

QQ 浏览器搜索相关性实践

Elasticsearch RAG案例：混合搜索的相关性调优

SIGIR2023｜当搜索遇到推荐: 搜索增强的序列推荐框架

QQ浏览器是如何提升搜索相关性的？

通过数据驱动的查询优化提高搜索相关性

《搜索和推荐中的深度匹配》——2.2 搜索和推荐中的匹配模型

教你评估搜索相关性(第1部分)

大众点评搜索相关性技术探索与实践

改进 Elastic Stack 中的信息检索：提高搜索相关性的步骤

在Elasticsearch中使用NLP技术，提升搜索相关性

《搜索和推荐中的深度匹配》——1.2 搜索和推荐中匹配统一性

搜索与推荐那些事儿

搜索、推荐、广告中的曝光偏差问题

《搜索和推荐中的深度匹配》——2.3 搜索中的潜在空间模型

搜索推荐系统延迟反馈问题。

《搜索和推荐中的深度匹配》——2.4 推荐中的潜在空间模型

相关资讯

热门标签

活动推荐

运营活动

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐