专栏首页数据森麟增长黑客AB-Test系统(五)——AB-Test 双样本显著性计算

增长黑客AB-Test系统(五)——AB-Test 双样本显著性计算

作者:livan

来源:数据python与算法

前言

如下图所示,样本显著性的计算是在试验结尾部分的重要步骤,决定了试验是否有效:

A-A-B三组数据观察n天后,会产生3组数据,我们接下来的任务就是计算这三组数据的统计效果,进而确定哪个方案效果好……

主要是对试验过程中的数据以及历史数据进行统计计算,如下图:

双样本的z检验计算

Z检验的优势在于使用总体方差,其整体效果比t检验和卡方检验效果明显,t检验采用的是样本方差,在计算时倾向于小数据量的运算,卡方检验是对两个数值的比较,其精准度较t检验又降一级。

1)A-A组z检验:

A-A组试验的目的是为了确认我们的随机样本分流是否平衡,如果A-A组试验存在显著性差异,则表示分流失败,试验的可信度降低,严重情况下存在试验失效的风险,因此我们需要进行A-A测试计算:

A组试验作为对照组试验存在历史数据,因此我们可以通过历史数据进行方差计算,得到总体方差,在AB测试中存在一个基本的假设,即各组试验的方差是一致的,即:数据的样本分布和总体分布一致,变化的是各个试验组的均值大小。所以不仅是现在的A-A,甚至下文的A-B,都可以使用历史数据中的方差值。

A-A试验的另一个假设即:两组试验是独立进行的。所以我们在进行计算时需要使用双样本独立性检验,即:

在进行AB测试的统计分析时,我们需要将方差计算转化成概率形式,因此,公式变化为:

公式中的σ22为总体方差,p2为总体指标的平均值。

公式中方差的计算使用的是试验开始前一个月的历史数据,因此试验设计时需要获取到历史数据。

根据z值表可以确定出对应的P值,并将P值与显著性水平进行比较,以确定两个方案是否有显著性差异。

我们假设客户允许的置信水平为90%,则双尾试验中α=0.05:

如果P>0.05,则接受原假设μ1=μ2,表示A-A两个组的差异不显著,此次试验分流效果随机,A-B试验可信度较高。

如果P<0.05,则拒绝原假设μ1≠μ2,表示A-A两个组的差异显著,此次试验分流的效果不随机,A-B试验的可信度不足。

2)A-B组z检验:

A-A试验的目的是为了查看显著性,即谁高谁低并没有太多差异,所以在进行显著性检验时可以采用双尾检验,只进行是否显著的查看,但是在A-B试验中,我们除了查看两个试验组是否有显著性差异,同时还需要了解A、B两组试验哪个表现更好,此处可以直接用单尾假设检验(μb>μa):

如果单尾假设检验不显著,则拒绝原假设,试验中B方案需要被淘汰;

如果单尾假设检验显著,则接受原假设,试验中B方案可以显著提高数据指标;

假设用户的置信水平为90%,则单尾试验中α=0.1:

如上图,在单尾试验中,显著性水平α=0.1,然后基于显著性水平得到标准Z0.1的值,我们将计算出的z值与标准Z0.1进行比较:

如果Z>Z0.1,则接受原假设,AB方案有显著性差异;

如果Z<=Z0.1,则拒绝原假设,AB方案没有显著性差异;

双样本的t检验计算

1)A-A组t检验:

Z检验中我们通过计算总体方差得到z值,与此同时,随着试验的不停推进,样本数据也会积累出一定的数据量,使用样本方差,我们也可以进行一定的显著性比较,在A-A试验中t检验的计算过程得出如下:

由公式可以看出,t检验与z检验在公式上的差异不大,只是方差的计算方式不同,我们通过对样本的计算得出了试验对应的值,在概率类计算条件下得出公式为:

对应计算结果分析与Z值检验类似,通过t值找到P值:

如果P>0.05,则接受原假设μ1=μ2,表示A-A两个组的差异不显著,此次试验分流效果随机,A-B试验可信度较高。

如果P<0.05,则拒绝原假设μ1≠μ2,表示A-A两个组的差异显著,此次试验分流的效果不随机,A-B试验的可信度不足。

2)A-B组t检验:

A-B测试的方法中,除了z检验,我们也可以直接使用t检验进行,通过t的检验效果,计算出是否显著,其计算逻辑与z的A-B测一致,只是方差做了替换。

◆ ◆ ◆ ◆ ◆

猜你喜欢

麟哥拼了!!!亲自出镜推荐自己新书《数据分析师求职面试指南》

厉害了!麟哥新书登顶京东销量排行榜!

笑死人不偿命的知乎沙雕问题排行榜

用Python扒出B站那些“惊为天人”的阿婆主!

你相信逛B站也能学编程吗

点击阅读原文即可参与京东100-50购书活动

本文分享自微信公众号 - 数据森麟(shujusenlin)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-08-21

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 用户流失,该怎么分析?

    有同学问:用户流失该怎么分析?用户流失率的数据可以算,可算出来以后呢?只看数据似乎完全看不出什么流失原因,只知道用户已经X个月没有来了,也不知道看到这个能干啥。...

    数据森麟
  • 深度学习哪家强?用数据来一较高下吧

    本人现在还是一个初识深度学习的小白。初学者总是会面临选择的纠结,尤其是对看似高深的深度学习,有着众多开源框架可供选择,但自己又没有能力评估。于是我看了许多比较文...

    数据森麟
  • 《囧妈》卖字节跳动,徐峥亏还是赚?揭秘电影利益链

    投资方给钱给制片方制作电影,电影完成后交给发行方进行宣传,提高曝光吸引观众,然后电影会交给院线方进行排片,排片完成后会交给线下电影院放映。

    数据森麟
  • R语言各种假设检验实例整理(常用)

    一、正态分布参数检验 例1. 某种原件的寿命X(以小时计)服从正态分布N(μ, σ)其中μ, σ2均未知。现测得16只元件的寿命如下:           ...

    用户1680321
  • Python生态圈

    在某些情况下,你不用覆盖已有的PYTHONPATH,只需要在开头或结尾加上新的路径即可。

    用户1416054
  • 团队开发Git分支管理策略

    开发生涯的前三年都是使用 svn,回首放佛如前世。自从用了 git ,整个人都神经了。

    大愚
  • Linux磁盘配额管理图文案例

    磁盘配额是计算机中指定磁盘的储存限制,就是管理员可以为用户所能使用的磁盘空间进行配额限制,每一用户只能使用最大配额范围内的磁盘空间。这样可以避免因某个用户的过度...

    砸漏
  • CentOS 7.6 Minimal 安装配置 VNCServer

    系统环境:CentOS Linux release 7.6.1810 Kernel:3.10.0-957.21.3.el7.x86_64 系统现状:最小化安装,...

    Leorizon
  • [Linux]Samba服务器支持访问软连接文件和目录

    接上文:[Linux]搭建Samba服务器(ubuntu16.04) https://blog.csdn.net/humanking7/article/d...

    祥知道
  • 快速构建文档知识库站点

    今天中午花了点时间尝试构建了一个文档知识库小站点,作为一个知识库方案落地的备选。使用的是开源项目Raneto,全面支持markdown的格式。 ? 有些同...

    jeanron100

扫码关注云+社区

领取腾讯云代金券