专栏首页巡山猫说数据「原理」AB测试-来源及实验过程

「原理」AB测试-来源及实验过程

「原理」这个专题,主要介绍数据分析师的常用分析方法和原理。我们先从目前最常用的AB-Test讲起。

AB测试简介

越来越多的公司重视AB测试,按照笔者的经验,之前会Excel就行,SQL是加分项。后来变成了必须懂SQL,AB测试是加分项。再到后来变成了,AB测试和SQL都是必会的东西。

因为从15年至今,人口红利肉眼可见的减少,流量竞争从增量竞争变成了存量竞争。截至2020年底,互联网用户已经高达10亿。微信,支付宝,头条,抖音这些巨型APP基本已经瓜分了用户的大部分时间,别的APP想要存活及增长,精细化运营就变成了必须。

精细化从技术上,又无法避免AB测试。往往产品的认知并不是用户的认知,所以我们需要去测试,去实验用户的喜好。选择一个用户偏爱的功能上线,才会不断提高用户满意度,我们的APP才能活下来,并有一定程度的增长。

AB测试是借鉴了实验的思维,目标是为了归因。通俗来说,就是我们想把条件分开,明确的知道,哪种条件下,用户会买账。这就需要三个条件:有对照组,随机分配用户,且用户量足够。

最早的AB测试本身是起源于医学。当一个药剂被研发后,医学工作人员需要评估药剂的效果。一般就会选择两组用户(随机筛选的用户),构建实验组和对照组。用这两组用户来“试药”。也就是实验组用户给真的药剂,对照组用户给安慰剂,但是用户本身不知道自己是什么组,只有医生指导。之后,在后期的观察中,通过一些统计方法,验证效果的差异性是否显著,从而去校验药剂是否达到我们的预期效果。

这个就是最早期的医学“双盲实验”。互联网行业其实也差不多是这么用。我们需要确认的是,当前改版,是否有效果,也就是说,我们需要验证效果的“药剂”变成了一个“改版”。

业务把将web或者app界面或者流程,拆分为多个版本。然后将流量分层(或者分流),不同的人群使用的某个功能或者触发的策略不同。但是这里的人群一定要满足同质化的特性。所以无论分层还是分流,我们都需要将用户随机分配,且同一用户不能处在两个组内。

通俗来说,AB测试是一种互联网人口红利减少的背景下,为了提高用户满意度,留下用户而使用的一种利用数学原理来精细化运营的评估方法。

AB测试适用场景

当然,AB测试也不是每种迭代或者改版都能用。一般来说,三种场景可以使用AB测试,三种场景不能使用AB测试。

产品迭代可以使用AB测试。比如界面优化,功能增加,流程增加,这些都可以使用AB测试。因为我们是在原有基础上做一定更新迭代,可以直接使用AB测试。

算法优化可以使用AB测试。同理,算法筛选,算法优化这些我们都可以使用AB测试来测试。因为我们也可以通过流量切分构造实验组和对照组来验证效果。

市场营销的部分场景可以使用AB测试。内容的筛选,时间的筛选,人群的筛选,我们也可以使用AB测试来实验验证效果。

但是,当变量不可控,或者样本量比较小不足以支撑AB测试,或者我们的投放是全流量投放。这三种情况是不支持使用AB测试的。

变量不可控,比如我们业务有两个APP,我们想做一个策略,验证是否能够提高用户使用了A产品,再去使用B产品的概率。这种是不支持AB测试的,因为用户关闭一个APP后,非常多的不可控因素。

样本量较小也不支持AB测试,因为从统计学上来说,我们要验证一个数据是否有效,还是需要一定的样本量的。关于样本量的计算,我们在下一篇来讲。

至于全量投放,比如我们开了一个发布会,换了一个logo,这种全量投放,怎么做AB测试?你可以让用户不来参与发布会还是让用户不看到新logo?!

AB测试流程

一般来说,产品的优化迭代流程上分为三个阶段:

1、随着业务的发展,我们萌生了优化迭代的思考和想法,并落地成为具体的PRD或者其他需求文档;

2、有了需求文档,我们需要将需求开发生产,然后上线验证实际效果是否符合预期;

3、如果效果符合预期,那么我们则落地实施,如果不符合预期,就再次优化迭代。

AB测试在这个流程中,主要负责第2步,也就上线验证优化迭代这一步。通常来说,我们可以将AB测试分为三个部分:实验前,实验中,实验后。

实验前:

我们需要确认AB测试的内容,是产品迭代还是算法优化。根据具体的的AB内容,选取相应的指标,并根据指标,选取实验单位后计算最小样本量,计算实验所需要的时间。总结来说就是:定指标,选单位,算时间。

实验中:

在这一步,我们需要将用户打散后打标,并根据最小样本量进行流量切割,上线实验。上线试验后,我们还需要验证实验策略是否符合预期,以及要保证一个用户只能在同一个分桶内,不会同时出现在多个分桶中。总结来说,筛用户,验策略,保唯一。

实验后:

在这里,我们需要验证实验是否有效,也就是流量配比是否符合预期。如果符合预期,我们则进行检验推断,检验实验指标是否有显著差异。最后再和业务商定后决定后续迭代方向。总结来说,验比例,做推断,定迭代。

这就是整体的AB测试的三个部分,以及每个部分中需要做的重点事情。

知识点总结

以上,我们就讲完了AB测试的来源及AB测试的使用场景和需要经历的步骤。我们一起来回顾下主要的知识点。

1、AB测试来源于医学的双盲实验,主要为了验证我们的改进是否有效果而进行的一个较为科学的检验方法。

2、AB测试适用于产品迭代,算法优化,以及一些市场营销的场景;但是如果我们的变量不可控,或用户量不足以支撑我们进行AB测试,或策略是全量投放时,我们不能进行AB测试。

3、AB测试可以分为实验前,实验中,试验后三个板块。实验前定指标,选单位,算时间;实验中筛用户,验策略,保唯一;实验后验比例,做推断,定迭代。

下篇,顺着AB测试的内容,我们来讲讲AB测试的实际原理及相应案例。

以上,就是本期内容,希望对你有帮助~

本文分享自微信公众号 - 巡山猫说数据(sven994777),作者:巡山猫

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2021-04-06

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 「原理」AB测试-详细过程和原理解读

    AB测试最核心的原理,就四个字:假设检验。检验我们提出的假设是否正确。对应到AB测试中,就是检验实验组&对照组,指标是否有显著差异。

    巡山猫说数据
  • 网站渗透测试原理及详细过程

    网站渗透测试原理及详细过程 零、前言 渗透测试在未得到被测试方授权之前依据某些地区法律规定是违法行为。 这里我们提供的所有渗透测试方法均为(假设为)合法的评估...

    Angel_Kitty
  • 数据分析师必知必会:AB测试项目复盘(附PPT、python源码)

    近期和团队完成了一次AB测试,期间发现有些小伙伴对AB测试的理解还不够透彻,刚好项目结束,结合实际情况,对AB测试做一次完整梳理,一方面算是复盘实际项目,另一方...

    朱小五
  • 一篇文章读懂A/B测试背后的统计学原理

    A/B 测试是一种对比试验,在试验过程中,我们从总体中抽取一些样本进行数据统计,进而得出对总体参数的一个评估。我们能从试验数据中得出有效结论的科学基础是基于统计...

    小老鼠
  • 4000字干货:A/B测试超全总结!

    2000年Google的工程师第一次将AB测试用于测试搜索结果页展示多少搜索结果更合适,虽然那次的AB测试因为搜索结果加载速度的问题失败了,但是这次的AB测试可...

    Sam Gor
  • A/B 测试那点儿事:理论与工具实践

    21CTO社区导读: 各位,在我们之前的文章内容中发表过一些关于数据驱动设计的文章,或者使用分析工具来优化我们产品的UI设计。简单讲,我们可以用Google A...

    企鹅号小编
  • A/B测试是好,但不适合创新

    这是一篇描述A/B测试的文章,作者从产品的角度出发,详细描述其优点与局限性,并表示不要太过于依赖A/B测试,容易忽略产品的本身应有的闪光点。

    大数据文摘
  • 统计学(2)|AB测试—理论基础

    ZZ之前承诺以A/B测试为案例,串联起统计学的理论,让理论直接落地于实践,搭建起统计学理论与工作实践的桥梁。所以,为了实现吹过的牛逼,这篇”A/B测试—理论基础...

    用户8612862
  • 做决定前别拍脑袋:两个成功案例看懂A/B测试

    对待每一个观点,是要经过互相考据,才能成立,而不是自我想象。这种科学的认知机制,同样可以引用到做产品上来,促进产品的务实化。

    华章科技
  • CI/CD 和 DevOps 的过去和未来

    本文由 DevOps时代高翻院整理发布 十年前,DevOps 的理念在 Andrew Shafer 和 Patrick Debois 两位先驱的脑海中酝酿。一...

    DevOps时代
  • 一定要收藏的面试思维导图

    主要从以下一些知识点做了准备: 常用的分析方法、Excel、SQL、 A/B测试、产品分析。

    猴子数据分析
  • 干货 | Netflix推荐系统模型的快速线上评估方法——Interleaving

    这里是「王喆的机器学习笔记」的第十八篇文章,今天我们关注模型的评估和线上测试。有经验的算法工程师肯定非常清楚,在一个模型的开发周期中,占工作量大头的其实是特征工...

    AI科技评论
  • 「原理」AB测试-案例串讲及踩坑事项

    上篇文章我们详细的解读了AB测试的原理及流程。今天我们来结合流程,讲讲具体的AB测试案例,以及AB测试中需要注意的问题,还有面试中可能会踩的坑。

    巡山猫说数据
  • ZLJAPP_UI自动化延伸

    基于找靓机APP接入内部UITest框架,已累计了70+场景case和140+埋点验证case ,且已经投入业务上线的回归使用。同时现有的AB测试需求,虽经过前...

    雷子
  • 金丝雀发布、滚动发布、蓝绿发布到底有什么差别?关键点是什么?

    ​ 根据 2017 年的 DevOps 发展报告,高效能组织和低效能组织在软件交付的效率上有数量级上的差异。技术组织的软件交付能力是一种综合能力,涉及众多环节,...

    changxin7
  • 蓝绿部署、A/B测试以及灰度发布

    Rainbond开源
  • Python实战:A/B试验提升课程转化率的成效分析(一)

    A/B 试验是对比分析中的较为经典的方法,通过控制试验变量研究对照组与试验组之间是否存在显著差异,从而决定是否大规模推广新策略。A/B试验是探究因果关系最为有效...

    数据万花筒
  • ​DevOps - 从渐进式交付说起(含实践 Demo)

    如果让你主导一款千万、甚至亿级用户产品的功能迭代,你会怎么做?你需要面对的挑战可能来自于:

    CODING
  • 什么是A/B test?有哪些流程?有什么用?终于有人讲明白了

    导读:关于A/B test的重要性无需多言,数据、产品等从业人员几乎必知,好的数据科学家我想一定是知道理解业务比模型更为重要,而A/B test就是伴随着业务增...

    华章科技

扫码关注云+社区

领取腾讯云代金券