首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

干货 | Netflix推荐系统模型的快速线上评估方法——Interleaving

Netflix的快速线上评估方法——Interleaving 图3描绘了AB Test和Interleaving之间的差异。...Netflix从两个方面进行了验证,一是Interleaving的“灵敏度”,二是Interleaving的“正确性”。 ?...Interleaving与传统AB Test的灵敏度比较 Netflix的这组实验希望验证的是Interleaving方法相比传统AB Test,需要多少样本就能够验证出算法A和算法B的优劣。...Interleaving指标与AB Test指标的相关性 除了能够利用小样本快速进行算法评估外,Interleaving的判断结果是否与AB Test一致,也是检验Interleaving能否在线上评估第一阶段取代...我们发现Interleaving指标与AB Test评估指标之间存在非常强的相关性,这就验证了在Interleaving实验中胜出的算法也极有可能在之后的AB Test中胜出。 ?

1K20

沈国阳:美团推荐系统整体框架与关键工作

美团排序的主要工作包括:模型及建模,样本采样及label处理,去除position bias,特征工程,Interleaving的使用,以及Online Learning的尝试等。...Interleaving的使用 美团进行策略效果对比所使用的方法是abtest。...为了解决这个问题,美团采用interleaving效果评估方式作为补充。...Interleaving方式的好处是所需流量较小,灵敏度较高,一般24小时之内可以给出结论,但是它只能给定性结论而不能给定量结论。...Interleaving的基本思想是把两个策略的结果混合在一起,通过统计分析用户选择哪个策略的概率更大。具体列表混合的实现方式有多种。下面介绍比较简单使用的一种,叫Balanced方式。 ?

1.9K20

深度学习应用篇-推荐系统:推荐系统的组成、场景转化指标(pv点击率,uv点击率,曝光点击率)、用户数据指标等评价指标详解

Interleaving线上评估方法 2013年微软提出了Interleaving线上评估方法,被当作时线上A/B测试的预选阶段进行候选算法的快速筛选,从大量初始想法中筛选出少量优秀的推荐算法,再对缩小的算法集合进行传统的...Interleaving 能够快速地将最初的候选算法集合进行缩减,相比传统的 AB Test 更快地确定最优算法。...A/B测试者自身属性分布不均的问题 通过给予每个人相同的权重,降低了活跃用户对结果的影响 图片 这种不区分A/B组,而是把不同的被测对象同时提供给受试者,最后根据守试者的选择得出评估结果的方法称为——Interleaving...Interleaving 方法的优缺点 优点: 所需样本少 测试速度快 结果与A/B测试无明显差异 缺点: 工程实现的框架较A/B测试复杂,实验逻辑和业务逻辑纠缠在一起,业务逻辑会被干扰 Interleaving...方法只是对“用户对算法推荐结果偏好程度”的相对测量,不能得出一个算法真实的表现,如果需要知道某个算法的具体指标提升,不适合使用Interleaving 2.6 用户数据指标 所谓的用户指标就是从用户的角度去衡量所推荐产品的效果

61830

深度学习应用篇-推荐系统:推荐系统的组成、场景转化指标(pv点击率,uv点击率,曝光点击率)、用户数据指标等评价指标详解

Interleaving线上评估方法 2013年微软提出了Interleaving线上评估方法,被当作时线上A/B测试的预选阶段进行候选算法的快速筛选,从大量初始想法中筛选出少量优秀的推荐算法,再对缩小的算法集合进行传统的...Interleaving 能够快速地将最初的候选算法集合进行缩减,相比传统的 AB Test 更快地确定最优算法。...消除了A/B测试者自身属性分布不均的问题 通过给予每个人相同的权重,降低了活跃用户对结果的影响 这种不区分A/B组,而是把不同的被测对象同时提供给受试者,最后根据守试者的选择得出评估结果的方法称为——Interleaving...Interleaving 方法的优缺点 优点: 所需样本少 测试速度快 结果与A/B测试无明显差异 缺点: 工程实现的框架较A/B测试复杂,实验逻辑和业务逻辑纠缠在一起,业务逻辑会被干扰 Interleaving...方法只是对“用户对算法推荐结果偏好程度”的相对测量,不能得出一个算法真实的表现,如果需要知道某个算法的具体指标提升,不适合使用Interleaving 2.6 用户数据指标 所谓的用户指标就是从用户的角度去衡量所推荐产品的效果

66220
领券