前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >AB实验

AB实验

作者头像
马哥Python
发布2020-11-26 17:17:40
1.7K0
发布2020-11-26 17:17:40
举报
文章被收录于专栏:快乐学Python

首先,我们有两组用户,A、B两组策略 A组:原策略,经过验证 B组:新策略,未验证,很可能有提升

整个流程为:AA --> AB --> BB

image.png

前置AA实验

image.png

在做AB实验时,需要对用户进行均匀分组,常用的有按ID、Hash等方式随机分组。但是这些方法,都只是改善措施,随机采样也有概率造成样本偏斜。既然无法保证结果均匀,那么就需要对分组结果进行检验,对检验不通过的重新采样。 AA实验应运而生——在线上开启AB实验前,先开启一段时间两组用户用同一个A策略进行实验,用来验证实验组与对照组两组用户的一致性。

那么如何度量一致性呢 -- 两组之间t检验,多组之间F检验 但是检验需要满足正态性 -- 用户由于其样本量足够大,按用户分组的指标必然呈现正态分布。 正态性度量指标:偏度、峰度;W检验(Shapiro-Wilk Test) 偏移较大则需要记下该指标特性,并将最终处理方式配置进试验系统。 一般的原因和处理方式有:“有组织的作弊、某个业务因素、采样总体包括幸存者偏差”。作弊可以过滤、打击,业务因素可以分析,总体存在bias可以取对数。

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档