文档建议反馈控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

DNN在搜索场景中的应用

DNN在搜索场景中的应用潜力，也许会比你想象的更大。 --《阿里技术》 1.背 景 搜索排序的特征在于大量的使用了LR，GBDT，SVM等模型及其变种。...在FNN的基础上，又加上了人工的一些特征，让模型可以主动抓住经验中更有用的特征。 ? ? 3. Deep Learning模型 在搜索中，使用了DNN进行了尝试了转化率预估模型。...转化率预估是搜索应用场景的一个重要问题，转化率预估对应的输入特征包含各个不同域的特征，如用户域，宝贝域，query域等，各种特征的维度都能高达千万，甚至上亿级别，如何在模型中处理超高维度的特征，成为了一个亟待解决的问题...在普适的CTR场景中，用户、商品、查询等若干个域的特征维度合计高达几十亿，假设在输入层后直接连接100个输出神经元的全连接层，那么这个模型的参数规模将达到千亿规模。...在以上的流程中，无法处理有重叠词语的两个查询短语的关系，比如“红色连衣裙”，“红色鞋子”，这两个查询短语都有“红色”这个词语，但是在往常的处理中，这两者并没有任何关系，是独立的两个查询ID，如此一来可能会丢掉一些用户对某些词语偏好的

3.6K40
您找到你想要的搜索结果了吗？
是的
没有找到

NLP技术在搜索推荐场景中的应用

NLP技术在搜索推荐中的应用非常广泛，例如在搜索广告的CTR预估模型中，NLP技术可以从语义角度提取一些对CTR预测有效的信息；在搜索场景中，也经常需要使用NLP技术确定展现的物料与搜索query的相关性...今天这篇文章梳理了NLP技术在搜索推荐场景中3个方面的应用，分别是NLP提升CTR预估效果、NLP解决搜索场景相关性问题、NLP信息优化基于推荐系统效果。...2 NLP解决搜索场景相关性问题 NLP在搜索场景或电商场景的一大应用，就是解决相关性问题。...首先在干净的相关性语料数据以及人工标注的高质量数据上训练BERT模型，然后利用这个模型对搜索日志中的用户行为数据打分，得到大量的包含相关性打分的数据。...4 总结 本文主要介绍了NLP技术在搜索推荐场景中的应用。

1.7K20

深度学习在视觉搜索和匹配中的应用

作者：Karsten Noe 编译：ronghuaiyang 导读 通过使用预训练网络在遥感图像应用中减少对标注数据的需求。...从许多会谈中可以明显看出，深度学习已经进入许多遥感专家的工具箱。观众们对这个话题的兴趣似乎很大，他们讨论了在各种应用中使用深度学习技术的影响和适用性。...讨论的内容之一是使用为一种数据(通常是自然图像)开发和训练的神经网络，并将其应用于其他类型(遥感)数据源中的实践。...例如，来自挪威计算中心的Øivind Due Trier展示了一项工作，在一个为计算机视觉应用开发的标准的物体检测网络应用于过滤海拔地图上，为了定位挪威考古遗址。...在这篇文章的其余部分，我将展示一些我们在实验室中所做的工作，这些工作是将一个在一个领域(ImageNet自然图像)训练过的网络用于在另一个领域(航拍图像)进行基于图像的搜索。

1.3K10

干货 | XGBoost在携程搜索排序中的应用

一、前言 在互联网高速发展的今天，越来越复杂的特征被应用到搜索中，对于检索模型的排序，基本的业务规则排序或者人工调参的方式已经不能满足需求了，此时由于大数据的加持，机器学习、深度学习成为了一项可以选择的方式...说起机器学习和深度学习，是个很大的话题，今天我们只来一起聊聊传统机器学习中XGBoost在大搜中的排序实践。 二、XGBoost探索与实践 聊起搜索排序，那肯定离不开L2R。...四、模型工程实践 4.1 评估指标制定 在搜索业务中，考虑的有以下两种情况： 看重用户搜索的成功率，即有没有点击； 看重页面第一屏的曝光点击率； 在文章开头提到的L2R的三种分类中，我们在XGBoost...离线拉取线上生产用户的请求，模拟生产，对模型预测的结果进行检验，根据在之前评估指标制定环节所提到的用户点击率和第一屏曝光点击率，比对线上用户点击产品的位置和模型预测的位置，同时对比两者之间的第一屏曝光点击率...直观的图表能帮助你做更好的决策，优秀的算法库，能避免重复造轮子； 单一的算法无法满足搜索排序应用场景，多模型融合以及深度学习方向需要做更深入的探索与实践；

1.7K11

神经结构搜索在机器翻译中的应用

The evolved transformer 这项工作的出发点是将结构搜索应用到机器翻译中，基于Transformer结构选出更好的候选。...虽然在图像领域，利用结构搜索将一个基础模型进行放大的EfficientNet在图像分类任务上达到了SOTA，但是在自然处理领域特别是机器翻译，结构搜索并没有广泛应用。...图3 锦标赛选择算法 首先通过一致的模型作为种子结构，初始化第一代的结构种群，之后对拥有最高准确率的结构进行突变生成后代，训练和评价后代，将后代加入到种群中，移除掉种群中不符合条件的结构，开始下一轮迭代...同时还有基于梯度的方法，目前比较流行的one-shot方法[8]，由于显存等限制，很难应用于搜索机器翻译复杂模型，但是其搜索出的结构通常都非常丰富，网络表示能力也很强，one-shot方法如何应用到机器翻译中...图5 ET编码端结构 整体来说变化不大，编码端对前馈网络进行了变化，将第一个注意力操作变成了线性门控操作，解码端也在同样位置发生了更多的变化。这也证明了之前基于设计经验进行热启动是合理的。

81830

深度学习在360搜索广告 NLP 任务中的应用

接下来继续应用这个 Case 来说明广告召回模块的召回逻辑：左边是用户搜索的 query，右边是广告主购买的关键词，这里有俩种召回方式，第一种是精确匹配召回，第二种是语义相关召回。...这个模型广泛应用于智能客服系统。如果大家对智能客服了解的话，大概会知道客服系统一般会构建一个问答库，ESIM 用于计算问题和问题的相关性，然后把语义相同的问题归结到同一个答案上。...这和 bert 刷榜的11个任务中的 Semantic Text Similarity Benchmark 这个任务是一样的。同时，我们把 0分和1分定义为负例，把 2分，3分，和4分定义为正例。...这是我们在一个 Tesla P40 上，训练三个模型的耗时。可以看到， 由于采用了两层 LSTM，ESIM 的耗时是最长的。 3. 性能评测 在衡量模型的指标上，我们选择了 AUC。...目前从事搜索广告业务中 NLP 相关的算法工作，负责搜索广告 query 改写，相关性计算等。

1.1K20

干货 | 深度学习在携程搜索词义解析中的应用

此外，有些词属于可省略词，或者对搜索产生干扰的词，也可以通过丢词来处理。 所谓丢词，就是把搜索词中相对不重要或者联系不紧密的词丢掉，再次召回。那么该如何衡量每个词的重要程度或者紧密程度？...此外，针对自然语言处理的大规模预训练语言模型的引入，可以进一步强化深度学习模型的能力，减少样本的标注量，使得原本标注成本较高的深度学习在搜索上应用成为可能。...模块输出为搜索词R的词特征OutputR；通过并行分类器对搜索词的词特征OutputR中各个片段给出类目数据库中涵盖的匹配类目，并给出对应类目的匹配概率。...在搜索的二次召回排序中需要重点关注重要性高的term，同时在丢词的时候可以忽略重要性低的term。通过计算用户输入搜索词的各个term weight，来二次召回出最接近用户意图的产品，提升用户体验。...该模型是为搜索服务的，有严格的响应速度要求。由于BERT模型整体比较大，在推理部分很难达到响应速度要求，因此类似于类目识别模型，我们对训练好的BERT模型进行进一步的蒸馏处理，以达到符合线上的要求。

53920

深度学习系列 | 深度学习在搜狗无线搜索广告中的应用

编者：本文来自搜狗资深研究员舒鹏在携程技术中心主办的深度学习Meetup中的主题演讲，介绍了深度学习在搜狗无线搜索广告中的应用及成果。...搜索引擎广告是用户获取网络信息的渠道之一，同时也是互联网收入的来源之一，通过传统的浅层模型对搜索广告进行预估排序已不能满足市场需求。...近年来，深度学习在很多领域得到广泛应用并已取得较好的成果，本次演讲就是分享深度学习如何有效的运用在搜狗无线搜索广告中。...本次分享主要介绍深度学习在搜狗无线搜索广告中有哪些应用场景，以及分享了我们的一些成果，重点讲解了如何实现基于多模型融合的CTR预估，以及模型效果如何评估，最后和大家探讨DL、CTR 预估的特点及未来的一些方向...一、深度学习在搜索广告中有哪些应用场景 比较典型的深度学习应用场景包括语音识别、人脸识别、博奕等，也可以应用于搜索广告中。首先介绍下搜索广告的基本架构，如下图： ? 首先用户查询。

1K110

干货 | 深度学习在携程搜索词义解析中的应用

此外，有些词属于可省略词，或者对搜索产生干扰的词，也可以通过丢词来处理。 所谓丢词，就是把搜索词中相对不重要或者联系不紧密的词丢掉，再次召回。那么该如何衡量每个词的重要程度或者紧密程度？...此外，针对自然语言处理的大规模预训练语言模型的引入，可以进一步强化深度学习模型的能力，减少样本的标注量，使得原本标注成本较高的深度学习在搜索上应用成为可能。...模块输出为搜索词R的词特征OutputR；通过并行分类器对搜索词的词特征OutputR中各个片段给出类目数据库中涵盖的匹配类目，并给出对应类目的匹配概率。...在搜索的二次召回排序中需要重点关注重要性高的term，同时在丢词的时候可以忽略重要性低的term。通过计算用户输入搜索词的各个term weight，来二次召回出最接近用户意图的产品，提升用户体验。...该模型是为搜索服务的，有严格的响应速度要求。由于BERT模型整体比较大，在推理部分很难达到响应速度要求，因此类似于类目识别模型，我们对训练好的BERT模型进行进一步的蒸馏处理，以达到符合线上的要求。

93020

预训练技术在美团到店搜索广告中的应用

预训练模型在美团内部的NLP场景中也有不少落地实践，美团搜索已经验证了预训练模型在文本相关性任务上的有效性[5]。 而针对预训练在语义匹配任务中的应用，业界也提出不少的解决方案。...本文分为算法探索、应用实践和总结规划三个部分，对预训练技术在搜索广告相关性的落地方案进行介绍。...美团搜索广告相关性服务的基线模型采用Transformer+ESIM的交互式模型结构，在满足性能的前提下有效解决了部分相关性问题，但是实际应用中仍然存在一些不足，主要包括： 训练数据中存在标签错误、正负样本分布不一致等问题...在实践应用中，为了同时满足模型效果和线上性能要求，我们对中高频流量进行离线打分和缓存，并且利用MT-BERT-Large蒸馏得到的双塔模型进行线上实时预测以覆盖长尾流量。...我们正在实验将阈值搜索看作可变现流量上的最优化问题，在限定消耗损失及其他业务约束的条件下，找到一组门槛阈值使得整体Badcase解决最大化，并已经取得初步的效果。

1.4K20

【ES三周年】- ES在电商搜索中的应用实践

本文将介绍ES在电商搜索中的应用实践。应用背景随着电商业务的发展，搜索功能逐渐成为电商网站的核心功能，一个好的搜索引擎可以提高网站的转化率和用户体验。...解决的问题采用ES作为搜索引擎，主要解决了以下问题：（1）提高搜索速度：ES在搜索方面具有卓越的性能和扩展性，可以快速地搜索出符合条件的数据。...总结本文介绍了Elasticsearch Service的概念、特点、优势和应用场景，并结合实际案例说明了ES在电商业务中的应用。...在实际应用中，ES可以作为搜索引擎和数据分析引擎，为企业提供高效、准确和实时的数据分析和搜索服务。在电商领域中，ES可以帮助企业实现商品搜索、推荐和分析等功能，提高用户体验和业务效率。...总之，ES作为一款优秀的全文搜索引擎和数据分析引擎，具有广泛的应用前景。我们相信，在不断的技术创新和实践中，ES将能够为企业带来更多的商业价值。

1.1K80

在应用大模型的场景中，我们该如何使用语义搜索？

随着时间的推移，越来越多的企业和用户开始关注大语言模型在业务中的应用。...向量搜索的实施和维护成本较高，涉及大量的计算资源和专业知识。对于一些资源有限的应用场景，或者缺乏专业人员对模型的选择时，这可能不是一个可行的选择。...在短文本搜索的场景中，向量搜索可能会面临语义理解的挑战。虽然向量搜索可以对查询进行语义分析，但当涉及到短文本时，语义的表示和理解可能不够准确，导致结果的相关性不佳。...向量搜索以词嵌入的方式表示数据，在搜索的透明性和可解释性上对人类有天然的障碍，人类即无法轻易理解两个嵌入到底第为何相似，也难以知道应该具体如何修改特征，以提升相关性； embedding模型的修改、调优...在实际应用中，我们往往需要结合向量搜索和其他搜索技术，甚至是结合机器学习与NLP推理技术来构建一个高效且灵活的搜索系统。这样可以充分利用各种技术的优势，同时避免各种技术的局限性。

3.3K122

【犀牛鸟论道】深度哈希方法及其在移动视觉搜索中的应用

作为一类特定的有监督哈希方法，相似性保留哈希也广泛应用于大规模图像搜索任务。在训练中，相似性保留哈希的输入是带有相似性关系的三元组或二元组图像对。...表2 不同深度哈希方法在CIFAR-10数据集上进行图像搜索的MAP值（取自原论文） 3.深度哈希在移动设备上的优化 尽管深度学习技术在广泛的视觉应用中取得了巨大的成功，但其高计算量和高内存需求也为移动视觉搜索等应用带来了巨大挑战...4.未来研究方向 4.1 设计面向移动视觉搜索特殊挑战的深度哈希方法 在移动视觉搜索中，图像或视频往往受噪声干扰严重，如闪烁、遮挡、旋转、模糊、仿射变换等。...但是有监督哈希需要依赖于大规模图像/视频的标注，应用范围有所限制。因此如何设计无监督深度哈希方法，进一步提高无监督哈希的准确率及在移动视觉搜索中的应用是未来另一个重要的研究方向。...对于移动视频搜索，我们则可以在深度哈希中利用音频、图像和文字信息。因此，多模态融合的深度哈希将在未来成为有吸引力的研究方向。

1.1K100

【干货】IRGAN ：生成对抗网络在搜狗图片搜索排序中的应用

比较有名的是在图像上的应用，其中以图生图，任务可以简单理解为通过对真实图像进行学习，让计算机生成逼真的图像。...还有的学者试图探索Gan在自然语言处理方面的应用，比如以文生文，即文本生成被应用于chatbot，还有以文生图，以图生文等任务场景。...可以看到近几年各大排序模型被相继提出，逐渐形成一个体系，笔者另一篇文章《Learning To Rank 研究与应用》中，主要阐述的就是现代流派中主流的检索排序算法。...而在LTR-GAN任务中，则通过对学习选择那些最优的未观测样本来作为生成样本，也就是说，这个生成的样本本身已经存在，只是之前没有标签而已。这是由排序任务特定场景造成的。 ?...因此Gan模型在笔者实验条件下未达到预期的效果。 第四个实验：考虑将Gan模型作为一种特征融合策略，加入到LTR训练中。

1.9K70

KDD 2020 | 详解语义Embedding检索技术在Facebook搜索中的应用实战

虽然embedding的检索技术在传统的搜索引擎中得到了广泛应用，但是Facebook搜索之前主要还是使用布尔匹配模型。...同时讨论了整个系统中很多端对端的优化技巧，例如ANN调参经验、全链路的优化等。最后，我们在FaceBook垂直搜索场景下验证了本文方法的有效性，在线A/B实验取得了显著的收益。...embedding技术在搜索检索层的应用通常被称为基于embedding的检索或者简称为EBR。...本文从如下的三个方面详细讲述了在Facebook搜索中应用Embedding检索技术遇到的挑战：modeling、serving以及full-stack optimization。...本文在实际使用中，模型在faiss的基础上，加上了对location和term text的索引。 ?

2.1K20

专栏 | 蒙特卡洛树搜索在黑盒优化和神经网络结构搜索中的应用

机器之心专栏 作者：王林楠、田渊栋 布朗大学在读博士王林楠在本文中介绍了他与 Facebook 田渊栋团队合作，在 2020 年 NeurIPS 取得亮眼表现的新算法，以及其在神经网络结构搜索中的应用。...每个孩子上对应搜索空间的样本的个数就是 UCT 里的 n，而这些样本性能的平均值就是 UCT 里的 v。当我们对搜索空间建立这样的一个搜索树，随着树深度的增加，在搜索空间找到好的区域也越来越精确。...下面是我们搜索出来的网络的结果。 ? 我们在 NAS 探索的一个简介 1. 起源：应用蒙特卡洛树搜索在神经网络结构搜索。...从这点出发，我们考虑对每个状态去建模，来更好的平衡利用和探索，来提高搜索效率。而蒙特卡洛树搜索(MCTS) 正是对每一个状态建模，利用 UCT 来动态的平衡利用和探索。...在一些传统的视觉应用，搜索的贡献可能就不如加各种 tricks 或者调参数在工程中来的更实际一些。但是如果当我们遇到一个新的任务，比如设计一个神经网络去调度网络节点。

1.3K10

论文拾萃|禁忌搜索在随机仿真优化应用中的最优预算分配策略

受到“仿真噪声”的影响，TS在仿真优化问题中的应用面临两个问题：(1)迭代过程中搜索方向上的偏差导致最优解不在搜索的范围内；（2）目标函数评估的偏差导致搜索范围内的最优解没有被正确地识别。...在该研究中，“预算”表示可供解的评估使用的仿真样本的数量。仿真噪声可以通过增加预算得到改善，但会增加仿真的时间和成本，在许多实际应用场景中（如车间的实时调度与控制）预算通常是有限制的。...在现有文献中，预算的分配多遵循平均分配原则或简单的分配规则，这些规则并非最优。该研究首次将排序与选择(R&S)的概念无缝地集成到TS中，基于大偏差理论，对预算分配的渐近最优性提供了理论结果。...此外，研究提出了最优预算分配的解析式形式，使最优策略能更容易地应用到实际问题中，并提供了一种顺序分配程序，便于在预算分配的过程中更好地收集相关参数的后验信息。...通过证明该代理模型为连续凸优化模型，进一步采用KKT条件求解，获得了渐进最优预算分配，从而使得禁忌搜索能够作出正确的迭代。

70810
点击加载更多

扫码

添加站长 进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

更多标签

活动推荐

    运营活动

    活动名称
    广告关闭

    腾讯云开发者

    扫码关注腾讯云开发者

    扫码关注腾讯云开发者

    领取腾讯云代金券

    热门产品

    热门推荐

    更多推荐

    Copyright © 2013 - 2024 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有

    深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 深公网安备号 44030502008569

    腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号 | 京公网安备号11010802020287

    领券