A/B测试时间计算器&显著性计算器(Excel版)

译者:吕东昊

译者前言:

进行AB测试,不是直接做了比较谁好谁差那么简单。如果希望对比分析有意义,必须符合统计学意义上的真正的具有显著性的差异。不过,这个差异让一般人去计算是无从着手的。但好在我们可以使用现成的工具,直接输入数据就能告诉我们结果。这个文章就介绍了这样的好工具。大家可以下载使用。

第一部分:A/B测试时间计算器

  在之前的文章,我推荐了一款用于计算A/B测试显著性的计算器(Excel版)并进行了对外开放下载。在这篇文章里,我将推荐一款能够帮助大家估算运行测试时间的计算器,从而获得具有统计学价值的科研成果。但首先,我需要做出如下几点声明:

我们无法对A/B测试的结果作100%保证

  当有人问我完成一项A/B测试需要多长时间,最万无一失的答案或许是来生或者直到你完成测试的那一天我再告诉你(哪种说法听起来更快一点呢,呵呵)。

  对于一项A/B测试,你永远不可能自信地说自己能够在多少多少天之后就能获得具有统计学价值的科研成果。你可以说有80%(或者95%,反正不可能是100%)的概率(前提是这样的测试确实是有意义的)。当然,实际情况可能是数据的可控性只是相对的,从这种意义上来讲,无论你测试多久,都将无法得出相应的结论。

A/B测试的运行究竟需要多长时间?

  下载和使用下方的计算器来得知你的测试需要多少访客样本。

  其中有四条信息需要你来填写:

1.原始页面的转化率

2.你希望对转化率变化的监测能够精确到多少(百分之几)?

(如果你想探测到更加细微的改进效果,会需要更长的时间)

·

3.需要监测的变量数(需要监测的变量越多,流量样本也相应需要提供更多)

·

4.网站平均每日流量(可选项,并不一定是必须的)

  当你填写了以上四项,计算器会计算出你需要监测多少访客(80%~95%的做出实验结果的成功率)。你可以在对这些访客进行一番测试之后停止测试,但千万不要什么都不做就放弃了测试,这样可能会导致最终出现错误的结论。

A/B测试时间计算器(Excel版)

复制此链接下载A/B测试时间计算器

http://visualwebsiteoptimizer.com/downloads/ab_testing_duration_calculator.xls

  我们非常欢迎大家能够将该文件分享和转发给更多的人。

  PS:顺便说一下,如果你想快速计算,我们有一个不同版本的计算器上传在谷歌文档上(在你对谷歌文档中的表格做出任何操作之前,建议将其转存到自己的帐户以作备份)。

计算器的工作原理

  这个价值百万美元的计算器。如果要解释它的工作原理,那会超出今天这篇文章的话题范围,也因为它太过专业或许需要单独的一篇文章来细细讲解。当然如果你对此有着浓厚的兴趣,下图是我们如何通过计算访客数量从而得出研究结论的依据。

  上面这张图表引自一本叫做《Statistical Rules of Thumb》的畅销书。而且比较幸运的是,关于估计样本容量的章节可以免费下载[PDF]。另一个估算A/B测试样本容量的优质信息来自微软的一篇论文: Controlled Experiments on the Web: Survey and Practical Guide[PDF](基于网络对照试验的调查与实用指导手册)。

第二部分:A/B测试显著性计算器

  A / B测试结果的统计可能令人困惑,除非你知道确切的公式。 早些时候,我们发表了有关A / B测试数学运算的文章,同时提供了一款免费的A / B测试计算器,用于测试你的结果是否有价值。 本文为大家提供了关于A / B测试统计的说明,当然计算器仅仅是提供了一个界面;用于计算对比测试结果的统计显著性的真正有效的公式没有具体展示出来。

A/B测试公式的Excel表格

  因此,我们已经推出了一个免费的电子表格,其中详细阐释了计算的真实意义所在。您只需要提供访问量和转化量的控制组和对照组。电子表格会自动为你计算显著性、p值、z值及对于任何一种对比测试(包括Adwords)的其他相关指标。当然,你可以在电子表格中看到相关的公式。

  下图为计算器展示图片:

以下链接可下载A/B测试显著性计算器(Excel版)

https://vwo.com/downloads/ab_testing_significance_calculator.xls

  我们非常欢迎大家能够将该文件分享和转发给更多的人。

  PS:顺便说一下,如果你想快速计算,我们有一个不同版本的计算器上传在谷歌文档上(在你对谷歌文档中的表格做出任何操作之前,建议将其转存到自己的帐户以作备份)

原文发布于微信公众号 - 互联网数据官(internetcdo)

原文发表时间:2017-02-20

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Crossin的编程教室

我从编程教室毕业

这篇文章在我的草稿箱里躺了有一年多,今天总算是发出来了。本文的作者是之前编程教室的实训生之一,原本在汽车制造车间里工作,后来成功转行为一名程序员,从事车载语音识...

1043
来自专栏大数据文摘

善事利器|5个最好的信息图在线创做工具

1512
来自专栏理论坞

互联网术语大全(一)

PM:Product Manager「产品经理」或 Project Manager 「项目经理」

1672
来自专栏顾宇的研习笔记

讨论微服务之前,你知道微服务的 4 个定义吗?比”什么是微服务“更重要的事

关于“什么是微服务”的问题,其实并没有一个统一的认识。这些年在不同的场合里和不同背景的朋友都在探讨微服务。但聊得越多,就越发现大家聊的不是同一回事。和 DevO...

1941
来自专栏大宽宽的碎碎念

如何积累知识和技能答网友-如何积累知识和技能一个故事凡事都有目标形象化关联不断的学,灵动的用结论

36813
来自专栏hightopo

数百个 HTML5 例子学习 HT 图形组件 – WebGL 3D 篇

2432
来自专栏ThoughtWorks

讨论微服务之前,你知道微服务的 4 个定义吗?| 洞见

关于“什么是微服务”的问题,其实并没有一个统一的认识。这些年在不同的场合里和不同背景的朋友都在探讨微服务。但聊得越多,越发现大家聊的不是同一回事。和 DevOp...

1012
来自专栏Java程序员的架构之路

java程序员|超详细面经(四面一总结),助你逆袭!

面经不同的人问的问题很可能不同,不能押宝在这里,不过帮助大家用来做模拟还是不错的~以下按收到offer顺序列出

2561
来自专栏用户3246163的专栏

[脑书1]-《搞定》第2章 横向工作管理的5个阶段

工作中最头疼的其实不是事情复杂,因为复杂的事情只要专注就会有解决办法,但是很多事情同时向我们汹涌而来的时候我们就崩溃了,这种状态还经常引发同事间的冲突。那么GT...

1026
来自专栏软件成本造价评估

哪些软件适合使用功能点方法进行度量?

  功能点是度量软件规模的一种单位。功能点方法是从用户视角度量软件的大小,已经成为软件规模度量的国内外标准也是唯一纳入国际标准的软件规模度量方法。目前应用比较...

2883

扫码关注云+社区

领取腾讯云代金券