「原理」AB测试-来源及实验过程

「原理」这个专题，主要介绍数据分析师的常用分析方法和原理。我们先从目前最常用的AB-Test讲起。

AB测试简介

越来越多的公司重视AB测试，按照笔者的经验，之前会Excel就行，SQL是加分项。后来变成了必须懂SQL，AB测试是加分项。再到后来变成了，AB测试和SQL都是必会的东西。

因为从15年至今，人口红利肉眼可见的减少，流量竞争从增量竞争变成了存量竞争。截至2020年底，互联网用户已经高达10亿。微信，支付宝，头条，抖音这些巨型APP基本已经瓜分了用户的大部分时间，别的APP想要存活及增长，精细化运营就变成了必须。

精细化从技术上，又无法避免AB测试。往往产品的认知并不是用户的认知，所以我们需要去测试，去实验用户的喜好。选择一个用户偏爱的功能上线，才会不断提高用户满意度，我们的APP才能活下来，并有一定程度的增长。

AB测试是借鉴了实验的思维，目标是为了归因。通俗来说，就是我们想把条件分开，明确的知道，哪种条件下，用户会买账。这就需要三个条件：有对照组，随机分配用户，且用户量足够。

最早的AB测试本身是起源于医学。当一个药剂被研发后，医学工作人员需要评估药剂的效果。一般就会选择两组用户（随机筛选的用户），构建实验组和对照组。用这两组用户来“试药”。也就是实验组用户给真的药剂，对照组用户给安慰剂，但是用户本身不知道自己是什么组，只有医生指导。之后，在后期的观察中，通过一些统计方法，验证效果的差异性是否显著，从而去校验药剂是否达到我们的预期效果。

这个就是最早期的医学“双盲实验”。互联网行业其实也差不多是这么用。我们需要确认的是，当前改版，是否有效果，也就是说，我们需要验证效果的“药剂”变成了一个“改版”。

业务把将web或者app界面或者流程，拆分为多个版本。然后将流量分层（或者分流），不同的人群使用的某个功能或者触发的策略不同。但是这里的人群一定要满足同质化的特性。所以无论分层还是分流，我们都需要将用户随机分配，且同一用户不能处在两个组内。

通俗来说，AB测试是一种互联网人口红利减少的背景下，为了提高用户满意度，留下用户而使用的一种利用数学原理来精细化运营的评估方法。

AB测试适用场景

当然，AB测试也不是每种迭代或者改版都能用。一般来说，三种场景可以使用AB测试，三种场景不能使用AB测试。

产品迭代可以使用AB测试。比如界面优化，功能增加，流程增加，这些都可以使用AB测试。因为我们是在原有基础上做一定更新迭代，可以直接使用AB测试。

算法优化可以使用AB测试。同理，算法筛选，算法优化这些我们都可以使用AB测试来测试。因为我们也可以通过流量切分构造实验组和对照组来验证效果。

市场营销的部分场景可以使用AB测试。内容的筛选，时间的筛选，人群的筛选，我们也可以使用AB测试来实验验证效果。

但是，当变量不可控，或者样本量比较小不足以支撑AB测试，或者我们的投放是全流量投放。这三种情况是不支持使用AB测试的。

变量不可控，比如我们业务有两个APP，我们想做一个策略，验证是否能够提高用户使用了A产品，再去使用B产品的概率。这种是不支持AB测试的，因为用户关闭一个APP后，非常多的不可控因素。

样本量较小也不支持AB测试，因为从统计学上来说，我们要验证一个数据是否有效，还是需要一定的样本量的。关于样本量的计算，我们在下一篇来讲。

至于全量投放，比如我们开了一个发布会，换了一个logo，这种全量投放，怎么做AB测试？你可以让用户不来参与发布会还是让用户不看到新logo？！

AB测试流程

一般来说，产品的优化迭代流程上分为三个阶段：

1、随着业务的发展，我们萌生了优化迭代的思考和想法，并落地成为具体的PRD或者其他需求文档；

2、有了需求文档，我们需要将需求开发生产，然后上线验证实际效果是否符合预期；

3、如果效果符合预期，那么我们则落地实施，如果不符合预期，就再次优化迭代。

AB测试在这个流程中，主要负责第2步，也就上线验证优化迭代这一步。通常来说，我们可以将AB测试分为三个部分：实验前，实验中，实验后。

实验前：

我们需要确认AB测试的内容，是产品迭代还是算法优化。根据具体的的AB内容，选取相应的指标，并根据指标，选取实验单位后计算最小样本量，计算实验所需要的时间。总结来说就是：定指标，选单位，算时间。

实验中：

在这一步，我们需要将用户打散后打标，并根据最小样本量进行流量切割，上线实验。上线试验后，我们还需要验证实验策略是否符合预期，以及要保证一个用户只能在同一个分桶内，不会同时出现在多个分桶中。总结来说，筛用户，验策略，保唯一。

实验后：

在这里，我们需要验证实验是否有效，也就是流量配比是否符合预期。如果符合预期，我们则进行检验推断，检验实验指标是否有显著差异。最后再和业务商定后决定后续迭代方向。总结来说，验比例，做推断，定迭代。

这就是整体的AB测试的三个部分，以及每个部分中需要做的重点事情。

知识点总结

以上，我们就讲完了AB测试的来源及AB测试的使用场景和需要经历的步骤。我们一起来回顾下主要的知识点。

1、AB测试来源于医学的双盲实验，主要为了验证我们的改进是否有效果而进行的一个较为科学的检验方法。

2、AB测试适用于产品迭代，算法优化，以及一些市场营销的场景；但是如果我们的变量不可控，或用户量不足以支撑我们进行AB测试，或策略是全量投放时，我们不能进行AB测试。

3、AB测试可以分为实验前，实验中，试验后三个板块。实验前定指标，选单位，算时间；实验中筛用户，验策略，保唯一；实验后验比例，做推断，定迭代。

下篇，顺着AB测试的内容，我们来讲讲AB测试的实际原理及相应案例。

以上，就是本期内容，希望对你有帮助～