专栏首页猴子聊数据分析什么是 A/B 测试?
原创

什么是 A/B 测试?

1.什么是A/B 测试?有什么用?

做过App功能设计的读者朋友可能经常会面临多个设计方案的选择,例如某个按钮是用蓝色还是黄色,是放左边还是放右边。

传统的解决方法通常是集体讨论表决,或者由某位专家或领导来拍板,实在决定不了时也有随机选一个上线的。虽然传统解决办法多数情况下也是有效的,但A/B测试可能是解决这类问题的一个更好的方法。

简单来说,A/B测试就是为同一个目标制定两个版本,这两个版本只有某个方面不一样,其他方面保持一致,例如两个版本只有按钮的颜色不一样。让一部分用户使用A版本(实验组),另一部分用户使用 B版本(对照组)。试运行一段时间后,分别统计两组用户的表现, 然后对两组数据进行对比分析,最后选择效果更好的版本正式发布给全部用户。

2.A/B测试是怎么来的呢?

2007年,参议员的巴拉克•奥巴马在芝加哥参加了总统竞选。谷歌的产品经理丹•西罗克是奥巴马竞选团队“新媒体分析”部门的负责人。他用A/B测试优化了竞选网站的“捐款”按钮,使得捐款金额增加了5700万美元。

他对这个“捐款”按钮做了什么呢?

西罗克在奥巴马捐赠页面上进行了A/B测试,发现:

1)对于第一次访问竞选网站的用户,按钮文字是“捐赠并领取礼物”效果最好。

2)对于长期访问竞选网站,但是从来没有捐款的用户,按钮文字是“捐款”效果最好。

3)对于过去曾经捐过款的用户,按钮文字是“捐助” 效果最好。

在奥巴马就任总统后,西罗克创办了一家网站优化公司(Optimizely。)。在下一轮的总统选举中,这家公司的客户名单里是各个总统竞选团队。

现在A/B测试已经广泛应用于互联网公司,帮助优化产品。

吴恩达在主题为“AI是新的电力”的演讲中说到,能够定义互联网公司的并不是你是否有网站,而是你是否进行A/B测试,是否有很短的周期迭代,是否把决策权由CEO交给工程师和产品经理。

3.A/B测试案例

爱彼迎(Airbnb)是一家提供民宿服务的平台,创建于2007年,现在已经估值约300亿美元。

在2011年初,爱彼迎团队通过查阅数据寻找房源预订量比较低的地区。他们发现纽约市的房源预订量竟然不达标。要知道,纽约可是热门的旅行地区,为什么房源预定量低呢?

在观察这个地区的房源照片时发现,这些照片都是手机拍的,拍的即不清晰也不美观。如果房东发布的房源信息里有拍摄效果更加专业的照片,房东是不是会更容易租出自己的房子呢?

为了验证这个假设,爱彼迎团队先挑选了一部分房东作为实验组,免费为他们提供专业的摄影服务。

然后,将实验组的平均住宅预定量和纽约其他公寓的平均预订量进行对比。

数据显示,如果房源信息里有专业拍摄的住宅照片,房源预订量高于爱彼迎平均房源预定量的2- 3倍。也就是说,照片质量会影响预定量,说明前面的假设是成立的。

根据这个A/B测试结论,爱彼迎推出一个摄影计划,聘请了20名摄影师,专门为房东提供专业的拍照服务,这使得爱彼迎的房源预定量实现了快速增长。爱彼迎团队进一步决定向所有房东推广这一业务,这极大的提升了房源预定量。

同样,Google 用A/B测试来调整和测试它的算法和网站的设计; Facebook 通过A/B测试上线新功能、新版本,优化广告营收。电商巨头亚马逊通过A/B测试来不断完善网站,优化用户体验。

如果你对你的网站或者 App 感到十分不满,但又担心改头换面的重新设计会带来风险,那么可以尝试使用A/B测试,最终在得到一个全新的网站的同时,也会带来转化率的提升。

补充:其实A/B 测试的底层方法是对比分析方法

分析方法:如何进行对比分析?​www.zhihu.com

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • val b = a?: 0,a 是 Double 类型,那 b 是什么类型?

    这个问题看上去似乎并没有什么难度,在 Kotlin 当中,所有数值类型都是 Number 的子类,也就是说 Double 和 Int 都是它的子类,这种情况下,...

    bennyhuo
  • Java中 a+=b 和 a=a+b 有什么区别?

    今天舍友突然问我“在java中 a+=b 和a=a+b 有什么区别”,说这是一道面试题。当时就不假思索的回答:“一样啊”,然后他说有位面试者也回答说一样,所以...

    淡定的蜗牛
  • a=b=c,但a不等于c?这是什么鬼

    昨天在网上乱翻资料,发现一道题,很有意思,是这样婶的, var a = {n:1}; a.x = a = {n:2}; console.log(a.x); 答案...

    web前端教室
  • a[0+:8] 、b [15-:8] 什么意思?怎么用?

    之前jerry讲过怎么最方便的把一个128bit位宽的数,拆成字节使用的技巧(不知道的可以复习下前面的文章哦~)。今天反过来讲讲怎么把字节为单位的数拼成128b...

    IC验证
  • JS高级测试: var {a,b,c} = { "c":10,"b":9,"a":8}结果中,a,b,c的值分别是?

    2.对象的解构与数组有一个重要的不同。数组的元素是按次序排列的,变量的取值由它的位置决定;而对象的属性没有次序,变量必须与属性同名,才能取到正确的值。

    舒克
  • 什么是 A/B 测试?

    网络上的 A / B 测试,即你设计的页面有两个版本(A和B), A 为现行的设计(称为控制,B 是新的设计。比较这两个版本之间你所关心的数据(转化率,业绩...

    葆宁
  • 什么是B-Tree

    B-Tree就是我们常说的B树,一定不要读成B减树,否则就很丢人了。B树这种数据结构常常用于实现数据库索引,因为它的查找效率比较高。 磁盘IO与预读 磁盘读取依...

    企鹅号小编
  • 什么是B+Tree

    推荐阅读 微服务: springboot系列教程学习 源码:Javaweb练手项目源码下载 调优:十五篇好文回顾 面试笔试:面试笔试整理系列 B+Tree的定义...

    企鹅号小编
  • 什么是B+Tree

    B+Tree的定义 B+Tree是B树的变种,有着比B树更高的查询性能,来看下m阶B+Tree特征: 1、有m个子树的节点包含有m个元素(B-Tree中是m-1...

    范蠡

扫码关注云+社区

领取腾讯云代金券