Booking.com的A/B测试实践

作者: João Miranda 翻译:邵思华 摘自:InfoQ

我们希望通过客户的观点来驱动我们的产品开发,而经过实验证明的各种假设则是探索客户观点的最佳手段。目前,在阿姆斯特丹举办的OSCON大会上,来自于booking.com的首席设计师Stuart Frisby为与会者讲述了他们如何在产品开发中大量应用A/B测试实践的情况。

A/B测试是一种通过比较某个指定特性不同版本的差异,以理解哪一个版本的效果更好的一种行为。但要正确地实践A/B测试,需要满足一些前提条件。

每个特性都需要进行完整的测试,但这种测试必须是原子性的。如果你不能做到每次测试只针对一项变更,你就无法控制变化因素,从而不可能得到清晰无误的结果。虽然目前市面上已经出现了许多A/B测试工具,但Frisby认为这些工具都不够理想,因为他们都缺少进行恰当的、完整的测试所必需的上下文与灵活性。他建议你创建一套属于自己的工具,或者至少也要使用某种能够允许你修正并匹配你的上下文的工具。

应用这一实践的软件组织必须建立一种数据驱动产品开发的文化,而不是依赖于专家的意见。所招聘的员工应具备企业家的心态,这样就能够促成一种“刨根问底”的组织文化,从而促使每个人对于他所不了解的内容提出疑问。作为一种终极的促进因素,优秀的A/B测试实践在许多情况下会证明,在当前上下文中,你、你的老板或业界专家的想法其实是错误的。

Frisby描述了一个假想的A/B测试场景,以了解改变背景颜色所产生的效果。在实践中,Frisby并不推荐这种类型的A/B测试,他相信改变颜色不是一种解决用户问题的正确方式。但这一场景能够简单地表现出整个流程,这个实验的假设场景是这样的:

由于在网站中使用了一些较高对比度的元素,使得我们的业务中一个主要的行为功能(即“立即预定”按钮)显得不够突出。

用于对此次实验的结果进行分析的衡量标准:

如果有更多的用户选择单击某个对比度较高的按钮,并最终下了订单,我们就知道这个假设是正确的。

团队将发布该按钮的两个版本:一个是正在使用中的蓝色背景按钮,一个是全新的绿色背景按钮:

让我们假定绿色的按钮会使预定转化率从2.7%下降至2.2%,那么这个假设就是不成立的,因此booking.com将继续延用原来的按钮样式。

在开展A/B测试的过程中,软件组织必须注意一些常见的错误。首先,不要尝试“大范围的A/B测试”,即一次性改动过多的内容。也不要尝试“边缘A/B测试”,即仅仅专注于产品中某个很小的部分,即便它非常重要,例如你的登陆页面。此外,Frisby还简略地描述了“假定可再现性”这一思想。

“假定可再现性”这一思想是指由他人所进行的实验也能够在你自己的环境中再现。但上下文始终是最关键的因素,对于其他人有效的做法未必就适合你。Frisby提出了一种层次型的可信赖数据源(按可信赖度从高到低排列):你自己的实验数据;你个人的观点,因为你最了解你自己的产品;他人的观点;他人的实验数据,因为它会为你造成一种假象,让你错误地确信它的结果。

Frisby并不建议在所有场景中都应用A/B测试,如果你的web应用程序没有达到一定的访问量,那么测试的结果可能也是无意义的。此外,如果你没有定义客观的衡量指标,并通过这些指标根据你的测试结果进行决策,那么也不应当采用A/B测试。最后,软件组织必须要做好准备,因为A/B测试的结果很可能会与组织所确信的恰恰相反,而接受这一点并不像人们想象中那么容易。

原文发布于微信公众号 - 大数据文摘(BigDataDigest)

原文发表时间:2015-11-25

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏web前端教室

为什么你很久都找不到biu的一下就学会前端的教程?

很多人看了很多教程,但依然学不会前端开发的真正原因,在于他们的内心其实一直在寻找“拐棍”,期望拄拐就能走上前端巅峰。 现在关于前端开发方面的教程和文章,主要分...

1975
来自专栏数据的力量

说说网站用户的生命周期价值

1564
来自专栏magicsoar

《驾驭大数据》读书笔记

花费一个礼拜的时间把驾驭大数据这本书看完了,书不是很厚,200多页。(写读书笔记又花费了我一个礼拜的时间……………) 就像前言里讲的那样,书里并没有涉及到太多余...

2435
来自专栏云计算D1net

谷歌云平台竞争力或大幅增强 全面下调价格

长期以来,在面向个人或企业的云平台服务商中,微软和亚马逊一直拥有较大的领先优势,而鉴于云平台对于数据处理的重要性,谷歌也在持续努力打造自己的云端平台来增强竞争力...

3213
来自专栏Java架构

高并发风控技术解密(上)

2413
来自专栏SEO

「研究」分析语音搜索排名因素

4278
来自专栏人工智能头条

感动!有人将吴恩达的视频课程做成了文字版

1K3
来自专栏SDNLAB

现代数据中心标准COTS服务器的演进

数据中心内的x86商用成品(COTS)服务器的标准化已经经过了很长时间,因为该架构提供了多功能、低成本、易于集成、更有效地维护和管理配置文件,总而言之,其成本低...

3324
来自专栏码神联盟

碎片化 | 第五阶段-02-公司IT部门的组成介绍-视频

如清晰度低,可转PC网页观看高清版本: http://v.qq.com/x/page/l0500zwsius.html 企业IT部门组成 ?

2856
来自专栏互联网数据官iCDO

深入探寻Engagement奥秘 - 6个核心指标

本文长度为3170字,预估阅读时间9分钟。 引言:本文分享了6个须在整个渠道中衡量的Engagement指标。 ? 翻译 | 张雨新 审校 | 陈明艳 编辑 ...

3779

扫码关注云+社区

领取腾讯云代金券