A/B 测试那点儿事:理论与工具实践

21CTO社区导读:

各位,在我们之前的文章内容中发表过一些关于数据驱动设计的文章,或者使用分析工具来优化我们产品的UI设计。简单讲,我们可以用Google Analytics(GA分析)等工具来进行用户行为调研,掌握使用我们产品的用户人群的统计数据和用户行为,从中确定我们的网站或App中可能存在用户体验不足的区域。

我们可以通过后台收集到一些信息,知道用户在使用产品存在什么困扰。而且,我们可以假设是什么情况。接下来,我们假设是什么原因,然后进行可用性测试来确认(或推翻)自己的假设。通过这些假设条件,可能会推出一个更清晰的解决方案。结果会怎么样?让用户体验更爽,提高更高的转换率。

但是,当通过可用性测试时,解决方案并不明显时会发生什么? 比如有一组用户解决方案效果还可以,但对另一组用户却不行,这将怎么办?您需要修正某些针对于相关用户的产品体验,让另一组用户改变更舒适的体验。

A/B 测试和UI设计有关,也与技术有关。在很多互联网公司,都在大规模应用AB 测试,让产品用户体验更好更爽。

在本篇文章中,我们就给大家详细介绍 A/B 测试。

什么是A/B 测试

简单来说, A/B 测试是关于UI设计的两个版本,用来确定哪一个更好,哪些主要的度量指标转换数更高,如销售,注册,订阅等。A/B 测试是一个系统技术,也有一些工具帮助我们来帮助平衡与非明显的方式进行这些实验。

当我们需要考量多个变量时,我们可以使用多元化测试,它是A/B 测试的一个子集,用于推进实验。

什么是多元测试(Multivariate Testing)

多元测试用来找出用户最喜欢的内容,而不是用户最喜欢的UI界面版本。也就是说,内容才是用户体验最重要的方面。试考虑,用户不是来您的网站欣赏导航的便利或直观、漂亮的。UX是用户需要的,而内容是用户想要的,同时也是他们的目的。

我们试想一个首页有一个标题CTA,它是主要的转换渠道。假设有不同的标题与CTA选项,我们希望随机测试它们不同的组合。这就是多元测试要优先于标准A/B 测试的地方。

A/B 测试需要什么工具

从本质上来讲,您可以先记录 A/B 测试一个版本之结果,在实施另一个版本时,亦同时记录该版本的结果来进行 A/B 测试。但是,一些关键的缺陷需要我们解决:

1. 您的流量/用户可能在两次测试中发生改变

2. 您需要分析两次数据,并且手动比较结果

3. 您可能需要将测试数据段分配到指定的用户组

在理想状态下,我们希望两个测试结果能够并行展示,以有利我们同时比较并分析它们,我们也希望两组实验同时是活跃的数据,以确保测试的公正。

A/B测试工具可以帮助我们解决以上之问题。

三大工具:Google Optimize、CrazyEgg与Optimizely

虽然也有很多值得留意的 A/B 测试工具,但是Google Optimize、CrazyEgg与Optimizely被人们认为三大测试工具之一。这些工具在功能上也有一些区别,因此选择哪个使用取决你的A/B 测试需求。

Google Optimize与GoogleAnalytics协同工作,与GA一样,它是免费的。另外,也有一个针对于企业的Google Optimize 360版本。Google Optimize与Google Analytics类似,免费版本也足够强大复杂,对于大部分用户已经足够了。

CrazyEgg(https://www.crazyegg.com/)实际是将用户测试(它提供有热点图工具)和A/B 测试集成到一个应用程序中,允许您缩放特定的可用性问题,然后尝试各种解决方案,而无需切换其它应用程序。

Optimizely(https://www.optimizely.com/)是三个工具中最复杂,也是最强大的软件。它提供SDK部署或原生整合到我们自己的站点、APP甚至是电视应用程序中。除此之外,Optimizely可以用A/B 测试提供与内容相关优化的建议,这些建议可以提升更好的用户转换,因为它们针对的肯定是那些喜欢这些建议的受众。

A/B 测试的正确打开方式

当我们提到 A/B 测试时,其实会出现正确和错误的两种情况。我们最有可能放弃的地方在于,如果一个网站的转换质量不佳,我们需要设计另一个版本,来看效果是不是更好。相反地,我们应该进行正确的分析(以及后续的可用性测试)来确定更详细的改进区域。如若不然,我们可能最终会删除正在设计的工作,可是我们还是无法了解用户真正感觉好和不爽的产品体验。

小结

现在,我们已经了解 A/B 测试以及多元测试的概念是什么,包括用来进行A/B 测试的工具,以及如何结构化和渐进式的方式进行 A/B 测试。您还可以获取更多以数据驱动的方式来进行网站&应用设计迭代。

如果您要了解有关站点分析的更多信息,建议您在我们的历史文章系统中查询。事先确定关注的目标,将帮助您关于改进产品可用性以及A/B 测试的关键点集中在哪里。

编译:洛逸

作者:Daniel Schwarz

来源:https://www.sitepoint.com/a-b-testing-introduction/

  • 发表于:
  • 原文链接http://kuaibao.qq.com/s/20171218B0GHKO00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券