A/B 测试那点儿事:理论与工具实践

21CTO社区导读:

各位,在我们之前的文章内容中发表过一些关于数据驱动设计的文章,或者使用分析工具来优化我们产品的UI设计。简单讲,我们可以用Google Analytics(GA分析)等工具来进行用户行为调研,掌握使用我们产品的用户人群的统计数据和用户行为,从中确定我们的网站或App中可能存在用户体验不足的区域。

我们可以通过后台收集到一些信息,知道用户在使用产品存在什么困扰。而且,我们可以假设是什么情况。接下来,我们假设是什么原因,然后进行可用性测试来确认(或推翻)自己的假设。通过这些假设条件,可能会推出一个更清晰的解决方案。结果会怎么样?让用户体验更爽,提高更高的转换率。

但是,当通过可用性测试时,解决方案并不明显时会发生什么? 比如有一组用户解决方案效果还可以,但对另一组用户却不行,这将怎么办?您需要修正某些针对于相关用户的产品体验,让另一组用户改变更舒适的体验。

A/B 测试和UI设计有关,也与技术有关。在很多互联网公司,都在大规模应用AB 测试,让产品用户体验更好更爽。

在本篇文章中,我们就给大家详细介绍 A/B 测试。

什么是A/B 测试

简单来说, A/B 测试是关于UI设计的两个版本,用来确定哪一个更好,哪些主要的度量指标转换数更高,如销售,注册,订阅等。A/B 测试是一个系统技术,也有一些工具帮助我们来帮助平衡与非明显的方式进行这些实验。

当我们需要考量多个变量时,我们可以使用多元化测试,它是A/B 测试的一个子集,用于推进实验。

什么是多元测试(Multivariate Testing)

多元测试用来找出用户最喜欢的内容,而不是用户最喜欢的UI界面版本。也就是说,内容才是用户体验最重要的方面。试考虑,用户不是来您的网站欣赏导航的便利或直观、漂亮的。UX是用户需要的,而内容是用户想要的,同时也是他们的目的。

我们试想一个首页有一个标题CTA,它是主要的转换渠道。假设有不同的标题与CTA选项,我们希望随机测试它们不同的组合。这就是多元测试要优先于标准A/B 测试的地方。

A/B 测试需要什么工具

从本质上来讲,您可以先记录 A/B 测试一个版本之结果,在实施另一个版本时,亦同时记录该版本的结果来进行 A/B 测试。但是,一些关键的缺陷需要我们解决:

1. 您的流量/用户可能在两次测试中发生改变

2. 您需要分析两次数据,并且手动比较结果

3. 您可能需要将测试数据段分配到指定的用户组

在理想状态下,我们希望两个测试结果能够并行展示,以有利我们同时比较并分析它们,我们也希望两组实验同时是活跃的数据,以确保测试的公正。

A/B测试工具可以帮助我们解决以上之问题。

三大工具:Google Optimize、CrazyEgg与Optimizely

虽然也有很多值得留意的 A/B 测试工具,但是Google Optimize、CrazyEgg与Optimizely被人们认为三大测试工具之一。这些工具在功能上也有一些区别,因此选择哪个使用取决你的A/B 测试需求。

Google Optimize与GoogleAnalytics协同工作,与GA一样,它是免费的。另外,也有一个针对于企业的Google Optimize 360版本。Google Optimize与Google Analytics类似,免费版本也足够强大复杂,对于大部分用户已经足够了。

CrazyEgg(https://www.crazyegg.com/)实际是将用户测试(它提供有热点图工具)和A/B 测试集成到一个应用程序中,允许您缩放特定的可用性问题,然后尝试各种解决方案,而无需切换其它应用程序。

Optimizely(https://www.optimizely.com/)是三个工具中最复杂,也是最强大的软件。它提供SDK部署或原生整合到我们自己的站点、APP甚至是电视应用程序中。除此之外,Optimizely可以用A/B 测试提供与内容相关优化的建议,这些建议可以提升更好的用户转换,因为它们针对的肯定是那些喜欢这些建议的受众。

A/B 测试的正确打开方式

当我们提到 A/B 测试时,其实会出现正确和错误的两种情况。我们最有可能放弃的地方在于,如果一个网站的转换质量不佳,我们需要设计另一个版本,来看效果是不是更好。相反地,我们应该进行正确的分析(以及后续的可用性测试)来确定更详细的改进区域。如若不然,我们可能最终会删除正在设计的工作,可是我们还是无法了解用户真正感觉好和不爽的产品体验。

小结

现在,我们已经了解 A/B 测试以及多元测试的概念是什么,包括用来进行A/B 测试的工具,以及如何结构化和渐进式的方式进行 A/B 测试。您还可以获取更多以数据驱动的方式来进行网站&应用设计迭代。

如果您要了解有关站点分析的更多信息,建议您在我们的历史文章系统中查询。事先确定关注的目标,将帮助您关于改进产品可用性以及A/B 测试的关键点集中在哪里。

编译:洛逸

作者:Daniel Schwarz

来源:https://www.sitepoint.com/a-b-testing-introduction/

本文来自企鹅号 - 21CTO媒体

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏云计算D1net

成长的烦恼 怎么解决云计算风暴?

云计算目前已经开始逐渐的被越来越多的企业用户采用。但是随着越来越多的应用部署在云中,云计算风暴也开始困扰着客户。 云计算风暴有时也被称为“启动风暴”,或VDI启...

4246
来自专栏智能计算时代

为什么IoT开发人员困惑MQTT和CoAP?

最近在Exadel,我们遇到了一个有趣的挑战,对物联网的开发者。因为IoT应用程序获得了如此多的动力,所以有越来越多的选择如何开发它们。对于设备通信,两个专门的...

4435
来自专栏知晓程序

重磅!微信发布「公众号数据助手」,用小程序就能看公众号数据!

原以为用手机就能看数据,只是小程序运营者的福利。没想到,微信今晚突然发布了「公众号数据助手」小程序,似乎在昭告天下:张小龙并不偏心,小程序和公众号,都爱。

1163
来自专栏重庆的技术分享区

成功准备微服务的5个步骤

原文地址:https://medium.com/@kikchee/5-steps-to-successfully-prepare-for-microservic...

1222
来自专栏李鹏的专栏

亿级流量电商详情页系统实战:缓存架构+高可用服务架构+微服务架构

在完全真实的大型电商详情页系统架构下,全流程实战了整套微服务架构,包含了基于领域驱动设计进行微服务建模、Spring Cloud、基于DevOps的持续交付流水...

9551
来自专栏程序人生 阅读快乐

构建高可用VMware vSphere 5.X虚拟化架构

《构建高可用VMware vSphere 5.X虚拟化架构》以VMware vSphere 5.1版本为例,介绍在企业应用平台上,如何构建高可用ESXi主机、高...

761
来自专栏叔叔的博客

自动化测试从入门到放弃

922
来自专栏云计算D1net

多云环境带来管理挑战

企业中多云环境的增长点燃了降低复杂性和冗余性管理工具的需求。 根据Gartner的数据,接近半数的大型企业将在2017年末之前运行混合云架构。灵活性、可伸缩性和...

41810
来自专栏程序员宝库

趣图:客户的需求 vs 客户的预算​

2884
来自专栏云计算D1net

将PB级数据传输到云端的四个步骤

如今,各种组织正在越来越多地使用公共云基础设施,但是人们发现将数百TB或PB数据向云端的迁移比想像得更复杂,更具破坏性,并且不具备灵活性。 ? 云存储的商业价...

3537

扫码关注云+社区

领取腾讯云代金券