数据分析师怎样设计一个好的AB test实验？

AB test是数据分析师必须掌握的知识点之一，并且在互联网行业尤其重要，下面我们来由浅入深的学习一下ABtest的流程及要点。

实验目的：为什么要做AB test

做AB测试有两个目的：

第一：可以分辨哪一个方案效果更好；

第二：可以用来计算活动收益。

第一个目的很好理解，第二个目的主要是通过对比分析，计算活动所带来的收益或者ROI，举个例子：某店铺做了一场直播活动之后，由1000个人产生了购买，共产生了10W的GMV，花了1W元的推广费用，那这场直播的ROI是多少呢？是不是10W/1W=10呢？答案肯定不是的，因为肯定有些人即使不看直播也会来消费，看直播只是「赶巧了」，所以到底有多少这样的人，需要我们前期就设定好ABtest实验。

实验流程：流量分配/效果评价/结论分析

1、怎样分配流量

流量的分配方法取决于实验的种类，但流量分配一般要遵循三个原则：

速度尽量快

影响尽量小

收益尽量大

就是要用最快的速度花最小的代价获得最大的收益，因为这是老板最希望看到的。

其次根据具体实验的目标性质，流量的分配方法可以分为三类：

第一类是不影响用户体验的实验，这种实验一般不会对用户的决策产生重大的影响，比如UI和文案等等，往往可以采用平均分配法：即实验组1、实验组2、对照组均分流量；

第二类：不确定性较强，也就说弄不好会对用户的决策产生重大影响，比如「产品改版」，这样的重大改变稍有不慎就有可能流失大批用户，这可不是我等小小数据分析师可以承担的，所以，新版本用小流量来测试，老版本用大流量；

第三类：活动运营。一般的活动都会有相应的利益点，为了是活动效果最大化，对活动1、活动2都应该分配大流量，无活动的对照组分配小流量。

2、怎样评价实验效果

实现效果的好坏要根据实验目的来看。也就是从方案的效果和ROI两个方面出发进行判断。如果是「漏斗类」指标（转化率/渗透率），一般使用卡方检验；如果是「均值类」指标（访问时长/消费金额/平均客单），一般使用t检验，涉及到统计学方面知识点的我会在下一篇文章中专门讲解。评价ROI需要用到以下计算方法：

1、流量与收益正相关，首先需要计算实验组流量在没有活动的情况下能够带来多少收益：

实验组无活动时收益 = 对照组收益 / 对照组流量 * 实验组流量

2、计算实验组活动带来的实际收益：

实验组实际收益 = 实验组收益 - 实验组无活动收益

3、计算ROI：

实验组活动ROI = 实验组实际收益 / 实验组成本

除此之外，还要把评估时间延长，因为某些用户表现具有「新奇效应」，他们倾向于追求新的方案，所以当新方案初步实施的时候数据可能表现较好，但之后会有明显的波动，所以，评价一个方案的好坏还需要长期跟踪。

对于实验的结果，还可以分析不同的人群的差异，例如把实验组的人按以下维度划分：

新老客

单身、恋爱、已婚

男性、女性...

对于不同的人群可以尝试深入挖掘，找出与活动有契合点的人群，便于下次实验的设计。

3、从哪些维度得出实验结论

按照由浅入深的顺序，可以把结论分为3个方面

第一：定性定量的描述判断：以直接效果/ROI来描述实验的好坏；

第二：以实验数据为基础，挖掘不同的人，在不同的场景下，针对不同的货品有什么不同的表现，进行探索性数据分析；

第三：根据本次实验所产生的现象，以及数据结果，提出假设性的问题，并且通过下次实验予以验证。

以上就是设计一个AB test的流程，下一篇我们会讲一下如何设计一个更为复杂的实验，以及从统计学的角度评估实验效果。