首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    干货 | XGBoost在携程搜索排序中的应用

    作者简介 曹城,携程搜索部门高级研发工程师,主要负责携程搜索的个性化推荐和搜索排序等工作。...一、前言 在互联网高速发展的今天,越来越复杂的特征被应用到搜索中,对于检索模型的排序,基本的业务规则排序或者人工调参的方式已经不能满足需求了,此时由于大数据的加持,机器学习、深度学习成为了一项可以选择的方式...说起机器学习和深度学习,是个很大的话题,今天我们只来一起聊聊传统机器学习中XGBoost在大搜中的排序实践。 二、XGBoost探索与实践 聊起搜索排序,那肯定离不开L2R。...四、模型工程实践 4.1 评估指标制定 在搜索业务中,考虑的有以下两种情况: 看重用户搜索的成功率,即有没有点击; 看重页面第一屏的曝光点击率; 在文章开头提到的L2R的三种分类中,我们在XGBoost...参数objective配置“rank:pairwise”,同时使用搜索系统常用的评估指标NDCG (Normalized Discounted Cumulative Gain) 。

    1.8K12

    如何在 Python 中搜索和替换文件中的文本?

    在本文中,我将给大家演示如何在 python 中使用四种方法替换文件中的文本。 方法一:不使用任何外部模块搜索和替换文本 让我们看看如何在文本文件中搜索和替换文本。...首先,我们创建一个文本文件,我们要在其中搜索和替换文本。将此文件设为 Haiyong.txt,内容如下: 要替换文件中的文本,我们将使用 open() 函数以只读方式打开文件。...然后我们将 t=read 并使用 read() 和 replace() 函数替换文本文件中的内容。...print("文本已替换") 输出: 文本已替换 方法二:使用 pathlib2 模块搜索和替换文本 让我们看看如何使用 pathlib2 模块搜索和替换文本。...方法 3:使用正则表达式模块搜索和替换文本 让我们看看如何使用 regex 模块搜索和替换文本。

    16K42

    在 ES 中如何使用排序

    在 Elasticsearch 中,排序是一项重要的功能,它允许我们按照特定的字段或条件对搜索结果进行排序。通过合理使用排序,我们可以更方便地找到所需的信息。...我们可以根据多个字段进行排序,并且可以为每个字段指定不同的排序顺序。 ES 还允许我们对排序进行微调。 例如,我们可以设置排序的权重,以确定不同字段在排序中的重要性。...在实际应用中,排序的使用需要考虑以下几个因素: 1. 用户需求:了解用户对搜索结果的期望排序方式,以便提供最相关和有用的结果。 2....14.数据压缩:减少存储空间和网络传输量,提高效率。 15.定期重新索引:更新索引以适应数据的变化。 总之,ES 中的排序功能为我们提供了强大的工具,使我们能够根据各种需求对搜索结果进行灵活的排序。...通过合理使用排序,我们可以提高搜索的效率和准确性,为用户提供更好的体验。

    83710

    多业务建模在美团搜索排序中的实践

    其中排序层分为以下几个子部分: 粗排层:使用相对简单的模型对召回候选集进行初步过滤,实现排序效果和性能的 Trade-off。...精排层:使用亿级别特征的深度学习模型,捕捉各种显式和隐式信号,实现 Item 排序分数的精准预估。 重排层:使用小模型和各种机制对精排后的结果进行调序,实现精细定向的优化。...异构排序层:使用深度学习模型对异构聚块进行排序,实现多业务的高承载。 多层排序架构设计主要是为了平衡排序效果和性能。本文后续提到的多业务建模优化工作主要从多路融合层和精排层进行介绍。 ?...这种基于配额对多路召回结果进行合并的做法在搜索、推荐场景中十分常用,比如淘宝首页搜索、美团推荐等。 为了多路召回的灵活接入,适配美团搜索业务的发展,我们不断迭代搜索配额模型。...多路融合层主要完成搜索结果从结果相关到结果优质的筛选过程,需要解决不同召回方式(文本召回、推荐召回、向量召回)和不同业务召回结果的融合截断问题,直接决定了用户能浏览到的结果候选集。

    1K30

    在 Hibernate Search 5.5 中对搜索结果进行排序

    就像这样,仅仅通过一个 Sort 对象在全文本查询执行之前,对特殊的属性进行排序。...在这个例子中,这些可以被排序属性称之为“文本值属性”,这些文本值属性比传统的未转化的索引的方法有快速和低内存消耗的优点。 为了达到那样的目的。...在这个例子中单独存在的字段对应一个属性(例如 publicationDate)仅仅使用一个特殊的 @SortableField 注解就足够让这个字段成为可排序字段。...注意, 排序字段一定不能被分析的 。在例子中为了搜索,你想给一个指定的分析属性建索引,只要为排序加上另一个未分析的字段作为 title 属性的显示。...如果字段仅仅需要排序而不做其他事,你需要将它配置成非索引和非排序的,因此可避免不必要的索引被生成。 在不改变查询的情况下 ,对排序字段的配置。

    2.9K00

    Excel公式技巧39: COUNTIF函数在文本排序中的应用

    因此,使用COUNTIF函数,我们可以找到单元格区域中任意单元格中值的顺序。当我们知道这些顺序后,就可以使用VLOOKUP函数来查找对应的单元格中的值,从而实现按顺序对这些单元格中的值排序。...简单地说,使用COUNTIF函数,我们可以对单元格区域中的文本排序。...如下图1所示,在单元格B6中,使用公式: =COUNTIF(C6:C15,"<="&C6) 得到单元格C6中的文本在单元格区域C6:C15的文本中,由小到大排在第10位。...将公式下拉至单元格B15,得到相应的列C中文本在单元格区域C6:C15中文本的排序位置。 ?...注:本文讲解的技术学习自chandoo.org,这里对其进行了补充和扩展。

    6.3K20

    文本获取和搜索引擎中的反馈模型

    ||取模代表向量的个数,另外经过移动之后,会有很多原来是0的变成有数据,通常采用的措施是保留高权重的 它可以用在 relevance feedback和persudo feedback【relevance...的beta要大于persudo】;在使用的时候注意不要过度依赖,还是要以原始的查询为主,毕竟反馈只是一个小的样本 Kullback-Leibler divergence Retrieval model[...KL散度检索模型] kl作为反馈运算来讲,具体操作可以是:首先提供一个预估要查询的文档集,以及查询的关键字,分别计算出文档和查询的向量。...计算出二者的距离【基本和VSM一致】,通过这样的方式,会得到一个反馈的集合。...通过加入另外的一个集合【背景文档】,混合两个模型,并通过概率来选择哪个集合的结果,这个时候,所有的反馈文档集合由混合模型来决定,那么对于在背景文档中很少的词频,但是在反馈文档中很频繁的,必定是来源于反馈文档集合

    1.4K30

    深度学习在视觉搜索和匹配中的应用

    在这篇文章中,我将介绍一些我们的工作,即使用预先训练好的网络来在遥感数据的目标检测任务中避免标注大型训练数据集的大量繁琐工作。 2019年9月中旬,我参加了北欧遥感会议。...从许多会谈中可以明显看出,深度学习已经进入许多遥感专家的工具箱。观众们对这个话题的兴趣似乎很大,他们讨论了在各种应用中使用深度学习技术的影响和适用性。...讨论的内容之一是使用为一种数据(通常是自然图像)开发和训练的神经网络,并将其应用于其他类型(遥感)数据源中的实践。...我们可以选择再运行一次迭代搜索,通过选择更多的我们满意的片段,并再次运行排序: ? ? 船只仍在前100名之列,这是一个好迹象。请注意,我们之前标记为满意的片段不再出现在交互式细分中。...然而,在我们的例子中,我们选择测试一种更简单的启发式来匹配船:我们在排序中从M之前选择了100个随机的片段(正样本),在N之后选择了100个随机的片段(负样本)。

    1.4K10

    文本、图片和按钮在Flutter中怎么用

    与iOS、Android和React类似,作为一个UI框架,Flutter自然也提供了很多UI控件。而文本、图片和按钮,则是这些不同的UI框架中构建视图都要用到的三个最基本的控件。...Flutter中的文本Text和图片Image,我在前面的文章中都有过介绍,今天我们再来详细地聊一聊。...我们先来看看如何使用单一样式的文本 Text。 单一样式文本Text的初始化,是需要传入要展示的字符串。而这个字符串的具体展示效果,受构造函数中的其他参数控制。...面对这样的需求,在Android中,我们使用 SpannableString来实现;在iOS中,我们使用NSAttributedString来实现;而在Flutter中国也有类似的概念,即TextSpan...这,和Android中的ImageView、iOS中的UIImageView的属性都是类似的,我在Flutter的图片组件这篇文章中有做详细介绍。

    7.7K20

    WebWorker 在文本标注中的应用

    作者:潘与其 - 蚂蚁金服前端工程师 - 喜欢图形学、可视化 在之前数据瓦片方案的介绍中,我们提到过希望将瓦片裁剪放入 WebWorker 中进行,以保证主线程中用户流畅的地图交互(缩放、平移、旋转)。...但是本文介绍的针对 Polygon 要素的文本标注方案,将涉及复杂的多边形难抵极运算,如果不放在 WebWorker 中运算将完全卡死无法交互。...基于网格的 PIA 算法 算法步骤如下: 以多边形的包围盒作为初始网格,使用 ray casting 计算网格中心到多边形边界的有向距离(下图的 dist 负数表示在形外)。...在我们的例子中,当主线程请求 WebWorker 返回当前视口包含的数据瓦片时,WebWorker 会计算出瓦片包含的 Polygon 要素的难抵极,不影响主线程的交互: // https://github.com...如果后续支持,配合 SplitChunksPlugin 应该能解决在 Worker 和不同 entry 之间共享代码的问题。

    4.7K60

    在PowerBI的切片器中搜索

    在制作PowerBI报告时,一般来说,我们都会创建一些切片器。为了节省空间,一般情况下尤其是类目比较多的时候,大多采用下拉式的: ?...不过,在选项比较多的时候,当你需要查找某个或者某几个城市的销售额时,你会发现这是一件很难办的事情,比如我们要看一下青岛的销售额时: ?...你可能会来回翻好几遍才会找到,这时候再让你去找济南的销售情况,你恐怕会抓狂。 那,有没有能够在切片器中进行搜索的选项呢? 答案是:有的。 如图: ?...只要在Power BI Desktop的报告中鼠标左键选中切片器,按一下Ctrl+F即可。此时,切片器中会出现搜索框,在搜索框中输入内容点击选择即可: ?...如果想同时看青岛和济南的销售额,可以在选中青岛后,重新搜索济南,然后按住Ctrl点击鼠标左键即可: ? 发布到云端,同样也可以进行搜索: ?

    12.3K20

    DNN在搜索场景中的应用

    DNN在搜索场景中的应用潜力,也许会比你想象的更大。 --《阿里技术》 1.背 景 搜索排序的特征在于大量的使用了LR,GBDT,SVM等模型及其变种。...在FNN的基础上,又加上了人工的一些特征,让模型可以主动抓住经验中更有用的特征。 ? ? 3. Deep Learning模型 在搜索中,使用了DNN进行了尝试了转化率预估模型。...整体模型使用三层全连接层用于sparse+dense特征表征学习,再用两层全连接层用于点击/购买与否分类的统一深度学习模型解决方案: 第一层为编码层,包含商品编码,店家编码,类目编码,品牌编码,搜索词编码和用户编码...在以上的流程中,无法处理有重叠词语的两个查询短语的关系,比如“红色连衣裙”,“红色鞋子”,这两个查询短语都有“红色”这个词语,但是在往常的处理中,这两者并没有任何关系,是独立的两个查询ID,如此一来可能会丢掉一些用户对某些词语偏好的...该部分的作用在于综合考虑不同域之间的信息后给出一个最终的排序分数。 最后,Softmax作为损失函数被用在训练过程中; 非线性响应函数被用在每一个全连接之后。

    3.7K40

    【干货】IRGAN :生成对抗网络在搜狗图片搜索排序中的应用

    还有的学者试图探索Gan在自然语言处理方面的应用,比如以文生文,即文本生成被应用于chatbot,还有以文生图,以图生文等任务场景。...可以看到近几年各大排序模型被相继提出,逐渐形成一个体系,笔者另一篇文章《Learning To Rank 研究与应用》中,主要阐述的就是现代流派中主流的检索排序算法。...有了这个预训练的生成器模型作为初始化模型,进行生成器和判别器的迭代训练。若干轮之后,得到最终的模型。最终判别模型和生成模型都可以拿来作为最终排序模型,具体看不同的任务效果。...在我们的检索系统中每个查询返回结果数目都很大,如果全部拿来做训练,会非常耗时,因此采用抽样的策略,首先考虑到top结果的相关性更重要,且比较难以区分,因此这部分无标签是从每个查询返回结果的top中随机抽样...目前在我这份数据集上来看,这样做肯定是不行的,因为最终的排序效果并不如LambdaMart。

    1.9K70

    《搜索和推荐中的深度匹配》——2.2 搜索和推荐中的匹配模型

    接下来,我们概述搜索和推荐中的匹配模型,并介绍潜在空间中的匹配方法。 2.2.1 搜索中的匹配模型 当应用于搜索时,匹配学习可以描述如下。...这符合以下事实:将query独立提交给搜索系统,使用query words检索与query关联的文档,并且文档与query的相关性由query和文档的内容确定。...这对应于以下事实:在推荐系统中显示了用户和项目,而用户对项目的兴趣由系统中用户对项目的已知兴趣确定。...2.2.3 潜在空间中匹配 如第1节所述,在搜索和推荐中进行匹配的基本挑战是来自两个不同空间(查询和文档以及用户和项目)的对象之间的不匹配。...在潜在空间中使用不同类型的映射函数(例如,线性和非线性)和相似性度量(例如,内积和欧几里得距离)会导致不同类型的匹配模型。

    1.5K30

    一日一技:使用Pymongo实现更新并返回数据

    希望能够实现: 每次请求返回的故事都不一样,在100次请求里面,每篇故事都需要返回。直到100篇故事全部返回完成。...第101次与第1次相同,第102次与第2次相同…… 为了实现这个目的,在 MongoDB 里面每一篇故事有3个字段: {"title": "故事标题", "content": "故事正文", "count...为了解决这个问题,就需要把查询和更新作为一个原子操作来执行。此时,就要用到 pymongo 的find_one_and_update方法。...find_one_and_update的使用方法如下: import pymongo handler.find_one_and_update({}, {...第二个参数表示更新的内容,与update_one的第二个参数一致。sort表示排序方式,它的值是一个包含元组的列表,元组的第一个元素为被排序的字段名,第二个元素为1表示升序,为-1表示降序。

    3.3K10
    领券