学习
实践
活动
专区
工具
TVP
写文章

「杂谈」如何提升指标敏感度?

最近在梳理过去的项目中的指标,看看不同的场景下,使用哪些指标更合适。随着整理,发现很多时候,我们对指标的应用仅思考是否能够度量一个业务场景,并没有思考是不是有更好的口径,或者指标。 下面我们就以一个具体的例子来讲讲不同指标的不同口径,有什么差异。 指标如何选择 我们来看一个场景:当我们打开京东时,我们要计算页面中「精选」模块的点击情况,我们该怎么计算? 指标如何优化 上面我以CTR为例,说明了一个指标本身就会有多种口径,以及各个口径的差异 那么问题来了,是不是每个指标,都会有这样的口径差异呢? 这个问题肯定是仁者见仁,智者见智。 结合着不同的业务场景,我们可以有不同的指标,不同的指标我们也可以做相应的拆分。 就指标来说,我们可以将指标拆分为 底层公式 + 业务变量。 所以我们在实际建立指标时,还需要考虑业务变量。 随着业务的迭代与发展,我们常常需要更细致的度量业务,所以指标也需要随着业务不断调整,更加精确的度量业务。 以上,就是本期分享。

13320
  • 广告
    关闭

    新年·上云精选

    热卖云产品新年特惠,2核2G轻量应用服务器9元/月起,更多上云必备产品助力您轻松上云

  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    CVR预估之延迟反馈问题

    1 CVR预估中的延迟反馈问题 1.1 问题描述 在很多推荐搜索的建模中,我们经常会使用D+1天的数据作为label,从1~D天的数据中的进行特征抽取等工作,和我们时间序列问题建模类似,但和很多其他的时间序列问题建模不一样的地方在于 在广告推荐中,有一个指标价值是非常大的, eCPM=CPA∗P(conversion,click)=CPA∗P(click)∗P(conversion|click), CPA: Cost per conversion 2 参考文献 cvr 预估中的转化延迟反馈问题概述:https://zhuanlan.zhihu.com/p/74586059 Modelling Delayed Feedback in Display 20Delayed%20Feedback%20in%20Display%20Advertising%20%E9%98%85%E8%AF%BB%E7%AC%94%E8%AE%B0/ 后续我们会筛选出在我们实践中带来提升或者启发的工作进行细致的解读与探讨

    62820

    搜推实战-有内味了!

    ,当然还有非常多其它重要的评估指标,例如:总体运营指标,网站流量指标,销售转化指标,客户价值指标,商品及供应链指标,营销活动指标,风险控制指标,市场竞争指标等等,想要深入理解的话可以阅读参考文献[7]。 评估指标设计 线上指标:计算的就是从曝光到购买的转化率,无需再进一步设计; 线下指标:线下指标我们需要能尽可能的对应到线上,即,线下涨的同时尽可能保证线上也能涨; 线下评估指标对比 1. 当然不管是哪种方式,都是有很多可以提升的地方的,下面我们将两种建模策略的诸多问题以及可能潜在的提升策略进行汇总。 1. 实验小结:设计辅助Loss,在使用CTR数据流+CVR数据流建模的情况下,可以稳定提升曝光到转化的预估准确率; 3.CTR&CVR网络数据Cotrain的问题: 发现:在模型的过程中,我们发现先对CTR 使用推荐的广告的数据作为辅助任务来提升搜索转化的效果? 使用PC端的数据来提升mobile端的搜索转化效果? 2.

    73820

    【论文笔记】CVR预估之ESMM模型

    点击事件发生概率很小导致用于CVR模型训练的样本非常稀疏。理论上,数据集比CTR训练的样本少1-3个数量级。表格1展示了实验数据集上的统计指标CVR任务样本是CTR任务的4%。 使用AUC作为评价指标,同时所有试验重复10次取平均值作为最终结果。 Pulic数据集上的表现 ? 相较于BASE模型,ESMM在CVR任务上在AUC指标上取得2.56%的提升,这表明在有偏数据上ESMM也能取得很好地泛化效果。在所有样本上的CTCVR任务上,AUC能提升3.25%。 在Product上采用不同的采样率进行训练验证,图中可以看到随着训练样本的增多,所有的模型表现都得到了提升,这表明数据稀疏带来的影响。 在整个数据集上训练后,ESMM模型相比于BASE模型CVR上能取得2.18%的提升,CTCVR上取得2.32%的提升。在工业系统中,AUC提升0.1%带来的影响也是非常显著的。

    1.9K20

    推荐系统遇上深度学习(十九)--探秘阿里之完整空间多任务模型ESSM

    其中,θctr和θcvr分别是CTR网络和CVR网络的参数,l(⋅)是交叉熵损失函数。 可以看到,ESSM模型相比于其他的模型,实验效果显著提升。 3.3 淘宝数据集实验 下图展示了ESMM模型在淘宝生产环境数据集上的测试效果对比: ? 可以看到,相对于BASE模型,ESMM模型在CVR任务中AUC指标提升了 2.18%,在CTCVR任务中AUC指标提升了2.32%。 ESMM模型中的BASE子网络可以替换为任意的学习模型,因此ESMM的框架可以非常容易地和其他学习模型集成,从而吸收其他学习模型的优势,进一步提升学习效果,想象空间巨大。 推荐系统遇上深度学习(十五)--强化学习在京东推荐中的探索 推荐系统遇上深度学习(十六)--详解推荐系统中的常用评测指标 推荐系统遇上深度学习(十七)--探秘阿里之MLR算法浅析及实现 推荐系统遇上深度学习

    2.2K40

    提升 Node.js 服务稳定性,需要关注哪些指标

    上周在团队分享了我的一些 Node.js 服务稳定性的优化实践,后面也会慢慢分享给大家,本篇文章我先给大家介绍一些在服务端稳定性上面我会关注的一些指标。 整体分为两个大的方面: 资源稳定性:即当前服务所处的运行环境的一些指标,一般如果资源稳定性的指标除了问题,那么服务有可能已经有了大问题,甚至处于不可用状态。 内存 RSS RSS :常驻内存集(Resident Set Size)用于表示系统有多少内存分配给当前进程,它能包括所有堆栈和堆内存,是 OOM 主要参考的指标。 因此与 uv 相关的数据指标可以一定程度上反应出 Node.js 应用的稳定性。 Libuv Handles ? 错误日志 服务运行过程中产生的错误日志数量也是衡量一个服务是否稳定的重要指标,对于错误日志上报,不同公司的业务可能有不同的实现,但是应该大同小异,一般日志都分为 INFO、WARN、ERROR 几个级别

    64930

    想要提升产品关键指标,也可以用这个模型

    本文将会从用另一个实际案例“猫呼”,分享如何利用该模型做产品增量,为关键数据指标带来有效的提升。 What|明确目标 关系链是社交的前提。猫呼作为一款即时视频IM工具,当时的产品框架逐渐完善。 那么如何利用“ABC”模型,有效的进行关系构建,从而帮助产品数据指标的有效提升呢? Why|定位问题 首先我们要明确在即时视频通话工具的使用中,什么是阻碍用户成功建立关系链的因素? 通过有效构建关系链模型,用以下3个策略提升数据指标。 A:通过心智塑造,让用户信任猫呼是可靠的、真实的。 我们发现在社交场景中男女比例存在严重的失衡现象,所以设计了女生优先权规则。 总结 围绕关系构建目标,我们利用“ABC”模型有效的进行增量设计,从而帮助产品数据指标的有效达成。加好友通过率低的问题,陌生人通话接通率和陌生人通话时长有了倍数级提升。 下篇分享用模型完成增量设计,帮助产品关键数据指标带来有效提升。实践证明,“ABC”模型是一套相对行之有效的产品设计思路和方法。

    14220

    【论文笔记】Optimized Cost per Click in Taobao Display Advertising

    以pCVR为例,实时预测模块RTP当实际CVR很高时,给出的预测值pCVR也预测得越高。依据预测pCVR将所有广告分为20组,对应实际CVR与pCVR/CVR比例如下图所示。 ? 根据事实和分析,提出GAUC指标。 线下模拟 通过历史的log数据,将pCTR和pCVR当作真实的CTR和CVR,比如某次展示的广告计算出pCTR为4%,则认为贡献了0.04的点击。然后设计4种策略,统计指标。 实验效果如下表,相对策略0,策略1和3的千次展示GMV和ROI都提高了;但RPM降了,只有策略2(OCPC)在3个指标上都获得了提升。 ? 线上效果 ? Strategy 2上线效果和线下一致,在3个指标上均获得了提升。 此外,作者提出本文的机制具有普适性,并不局限于GMV。

    1.4K11

    多目标建模总结

    概述在推荐系统中,通常有多个业务目标需要同时优化,常见的指标包括点击率CTR、转化率CVR、 GMV、浏览深度和品类丰富度等。 为了能平衡最终的多个目标,需要对多个目标建模,多目标建模的常用方法主要可以分为:多模型的融合多任务学习- 底层共享表示的优化- 任务序列依赖关系建模多模型的融合是根据不同的指标训练不同的模型,最终对多个模型的结果做融合 在多目标的建模过程中,如果不同的学习任务之间较为相关时,多个任务之间可以共享一部分的信息,这样最终能够提升整体的模型学习效果。 即在相关性不强或者无相关性的多任务环境下进行信息共享,最终影响整体的网络效果;另一方面,在多任务建模过程中,还存在一种被称为跷跷板现象(seesaw phenomenon),简单来说就是在对多个目标进行优化的过程中,一个任务指标提升伴随着另外一些任务指标的下降 缺点也是很明显的,主要有如下的几个方面:多个模型结果的融合,这里面涉及到超参数的选择,通常可以采取grid search的方案确定超参;每次调优一个模型,而不更新组合并不一定会带来最终效果的提升;没有考虑两个数据之间的关系

    11420

    基于ESMM模型的多目标优化实践——商城篇

    实践证明,多目标优化的确可以明显提升GMV等核心业务指标。这篇小文将详细阐述我们去年将ESMM模型应用于蘑菇街商城场景的实践细节,包含离线模型结构优化和线上排序公式的优化。 想象一个场景,某个商品展示给用户的主图封面不够有吸引力,被用户点击的概率较低,但是该商品的质量/评价/历史销量等其他指标的表现都很好,用户一旦点击并进入商品详情页、观察到商品的一系列属性之后,这类商品被用户转化的概率较高 比如公司目标是提高gmv指标,那么我们就可以适当提高公式中cvr的权重。 CVR预估模型的本质,不是预测“商品被点击,然后被转化”的概率(CTCVR),而是“假设商品被点击,那么它被转化”的概率(CVR)。 同时,CVR与CTR网络的底层特征表达的参数是共享的,显然CTR训练所能利用的样本量更多,从而辅助CVR的学习,使CVR任务可以隐式地从大量未点击的曝光样本中学习,这种类似于迁移学习的参数共享机制可以极大缓解

    49820

    关于电商推荐系统的一点小思考~

    思考1:关于 trigger 选取 电商场景中 trigger 的时效性很重要,用户越近操作的商品对于商业指标越好。 trigger 多样性很重要,多路 trigger 能提升丰富度。 做 ctr 、cvr 的话 ESMM 是一个非常好的通用架构,个人觉得该模型泛化能力强,可以尽早入手。 如果没有提升:当所有可被证明的思路被证明后,仍然无提升,可以终止本次迭代,得出结论。 通常对一个不合理的地方进行迭代,都是可以有提升的,不要轻易放弃。 思考5:关于离线评估 推荐很多时候是做 ctr 、cvr指标。所以线下不好评估。但是找到一个合适的指标非常重要。 比如常用的 auc 可能就不是个好指标,因为用户等级不同,点击率分布就不同,随便一个模型就能把 auc 提升,但平均 auc 则不尽然。所以一个合适的离线指标很重要。

    2.2K30

    指标与坏指标

    下层基础决定上层建筑,写出一个好的度量值的前提是有好的指标设计。什么样的指标才是好指标呢? 这是一个很重要的问题,你设计的指标是评价一段时间的发生值,还是某一时点值? ? 前天出版社的编辑老师告诉我新书的第一批库存快卖光了,要开始加印。让我在关注销售册数的同时又加入了一个库存量指标。 显然销售册数是时间段指标,库存量是时间点指标。 ? 对于时间段指标通过日期表可以得到年、季度、月、周的对应值,并且利用时间智能函数可以轻松求得环比、同比等等,这并不难。 基本的思路就是把指标拆解成流入和流出,再分别求累计至今的发生值。 ? 以上是目标管理的SMART原则,也可以作为判断指标好坏的参考。简而言之,能够解决问题的就是好指标

    55830

    计算广告之淘宝oCPC智能出价

    以pCVR为例,实时预测模块RTP当实际CVR很高时,给出的预测值pCVR也预测得越高。依据预测pCVR将所有广告分为20组,对应实际CVR与pCVR/CVR比例如下图所示。 ? 根据事实和分析,提出GAUC指标。 线下模拟 通过历史的log数据,将pCTR和pCVR当作真实的CTR和CVR,比如某次展示的广告计算出pCTR为4%,则认为贡献了0.04的点击。然后设计4种策略,统计指标。 实验效果如下表,相对策略0,策略1和3的千次展示GMV和ROI都提高了;但RPM降了,只有策略2(OCPC)在3个指标上都获得了提升。 ? 线上效果 ? Strategy 2上线效果和线下一致,在3个指标上均获得了提升。 此外,作者提出本文的机制具有普适性,并不局限于GMV。

    1.3K10

    关注

    腾讯云开发者公众号
    10元无门槛代金券
    洞察腾讯核心技术
    剖析业界实践案例
    腾讯云开发者公众号二维码

    相关产品

    • 云监控

      云监控

      云监控(CM)可收集并通过图表展示腾讯云云产品自助上报的各项监控指标和用户自定义配置上报的监控指标,以及针对指标设置告警,让您实时、精准掌控业务和各个云产品健康状况。

    相关资讯

    热门标签

    活动推荐

    扫码关注腾讯云开发者

    领取腾讯云代金券