为什么对比测试可能会扼杀转化率

前言:对比测试可能导致产品转化率下降?你没听错,看完本文你就会找到答案!

如果你已经尝试了所有方法,但产品的转化率依然处于下滑趋势,那么对比测试可能是导致这种现象的罪魁祸首。

是的,就是对比测试,这个传说中的流量开关、转化率助推器、自诩为目标用户提供支持策略的重要贡献者,却很少兑现它的承诺,导致虽然有些广告策划做的很棒,但最终却取得了失败。

在你大张旗鼓开始着手进行实验之前,我想一开始就向你澄清,这种宣称能够发现顾客喜好、激发用户热情并且能够一直带给他们最好体验的对比测试,其本身确实是一种靠谱的策略。任何一个经营活动都应该使用这种策略。

但是很遗憾,很多对比测试服务只会让你一知半解。今天就让我们一起深度挖掘一下到底是什么原因引出了这样的问题,以及如何处理。

对比测试最大的误区

前提很简单:制作两个或更多版本的页面。均分流量然后评估结果。但是这恰恰是让事实得以水落石出,让缺陷暴露无遗的地方。

事实上,你所收集的零散信息已经试着说服你相信一种选择会好于另一种选择,这个时候你本应该自然而然的就知道该怎样处理这样的结果。

例如,运用SumAll对同一页面进行了两种相同版本的对比测试 。测试结果表明第一个版本以将近20%的幅度明显优于第二个版本。

(Optimizely已经修改了他们的统计系统来阻止这样的缺陷混淆结果)

这说明了对比测试中一个很重要的问题:那就是你可以预测到业绩能够获得大幅增长的点,但如果你不将其转变成为可操作并且可以对直接收益产生影响的步骤,这些预测所产生的结果也是徒劳无用的。

你不知道的神秘统计秘密

冒着听起来太像Kevin Trudeau的转化率优化版本的危险,大多数对比测试和优化公司并不是真的要掏空你的银行账户,而什么都不留给你留下。他们会采用一种大而隐蔽的方式来使你感觉自我良好。

当需要通过不同的平台来完成对比测试时,,结果会有一些出入。比如 Visual Website Optimizer 和Optimizely可以进行所谓的“单尾”测试, 而另一些,如Adobe Test&Target 和Monetat可以做“双尾”测试。

那么两者之间有何不同,我们为何需要关注呢?

SumAll把这种测试带到了这里,这将对你未来的对比测试产生巨大影响。为了更好的解释这种想法,打个比方。

单尾测试寻求的是积极的相关性,就好像一直在牌桌上赢牌一样,那些并不真正懂,或者不在乎对比测试细节的高管们偏爱单尾测试,因为他们看起来总是在坐庄。这听起来对网站和用户都有好处,更不用说是工作的保障了。但这里有一个大问题,即单尾测试披着统计外衣的皮,并不能带来有意义的分析。

接下来是双尾测试。

双尾测试考量的是在过程中可能发生的事情的正面和反面,你需要更多的数据支撑来得出结论,但结论揭示了一些在单尾测试中找不到的点。

但这并不总是意味着双尾测试带来的都是正确的答案。在一些情况下,你需要用证据去验证一个具体测试中的积极结果。而单尾测试仅需要少量的资源进行验证便能得到结论。重点是你要知道自己考量的是什么,清楚这个因素在多大程度上直接影响到了你的底线和转化率,以及在多大程度上这个因素只是个噱头。

统计学的巅峰

我曾经写过“统计学意义”,讲的是它为什么很重要以及它是如何影响你的测试结果的。

在收集到足够的信息之前,许多对比测试往往就已为你展现了一个倾向于取胜的选项。测试可能会挑选出有90%统计学意义的赢家,你也按照这个结果对网站做出了改变,当然你的用户会察觉到这些变化,特别是那些以前访问过的用户,因为网站变得有所不同了。这些改变也许会让你的转化率受到波动,但只是暂时受到波动而已。

如果你没有足够的流量进行对比测试,是否能得出具有统计意义的结论?那么你需要知道这个事实,很多的服务商为了谋取利益会降低门槛并告诉你,只需要100个用户访问或者更低的数量便能测试出结果。

这对你是不公平的,这对每一个对比测试工具的使用者都会产生巨大的伤害。

你可以做什么?

这篇文章并不是意在抨击优化转化率的工具平台,而是想告诉你,使用这些工具,你真正能得到的是什么。庆幸的是,这里有些方法可以供你使用,并且可以使你的对比测试实验真正有效,为你提供真正的结果,并真正持续的提升你的转化率。

当进行对比测试时,你怎么能够判定得到的结果是实实在在且具有深度洞察的结果,而不只是隔靴搔痒的结果呢?

你仍然可以使用你喜欢的工具创建一个测试,但如果想要更好的看到它是如何进行的,我们还是使用Kissmetrics的仪表板创建一个A/B测试报告。Kissmetrics集成了多种对比测试的工具。然后,简单的创建一个新的报告,选择一个实验以及一个转化事件,如下图所示。

假设我们希望看到,哪些免费体验活动带来了更多的付费订阅者,运行测试, 然后加载一下测试结果:

截止到目前,你并没有看到任何与其他测试工具有所不同的结果。你看到的都是一些司空见惯的的结果,比如测试运行了多长时间,有多少访客访问,以及两个测试选项各自发生了多少转化。在这个例子中,我们可以很清晰的看到变体要明显优于原网址。

是时候将所有注意力集中到变体了,对吗?

等等,还不到时候

这个情况是大多数人停止运行对比测试实验的时候,而事实上我们才刚刚开始。

我们之前是想看到到底有多少人注册了,接下来,我们看一下另外一个角度的数据,将转化事件从“注册”切换成 “新用户付费订阅”选项。

点击“运行报告”,出人意外的是,从新用户付费订阅的数量上来讲,原网址居然优于变体网址。因此尽管在“注册”的转化事件上,变体网址要优于原网址,然而从注册并转化成为付费用户的角度来讲,原网址明显优于变体网址。这才是我们真正想要的转化结果。

A/B测试报告是一个很棒的工具,能够帮助你了解最后真正发生转化的测试选项是什么。你可以用A/B测试做更多的事情,包括测试在销售漏斗之外的结果,就像下面这个。

先细分,再测试

与其对所有用户进行盲目的全面测试,不如先进行细分分组。将访客与用户、移动用户与PC用户、通过电子邮件订阅的访客与非订阅者细分分组。当然分类方式有很多,用这种方式来做真正的同类比较能够得出更合理的测试结果。

再次运行测试

测试过程有时候也许看起来有违常理,但这其中的很多波动起伏也许只是海市蜃楼的错觉。这时我们需要再次进行测试,拉长测试时间,这样可以帮助你得到更有意义的测试结果。

在Martin Goodson的“大多数A/B测试的胜出结果是虚无缥缈的”指导中,举例说明了数字统计在排除假数据和混淆对比数据上的影响。

这是一篇简短但具有启发意义的文章,特别是如果你没有统计学背景(像我一样)。

验证假设

大多数A/B测试都基于假设。如果改变了X,对Y的影响是怎样的?但在过程中,会提出很多假设。例如,假设你的访客都来自同样的背景,都是年轻妈妈们,或都是勤劳的渔人,或者都是热爱健身的人。由于错误的人群定向,可能会使结果产生巨大的误差。

所有的这些观点都不足以让你彻底放弃使用对比测试,而你更需要去深层次的去认识你到底需要什么,做怎样深入的功课,这样你就不会仅仅只获得一些空头数据,反之你将得到最后能够全面带来长期增长的数据。

你对现在的对比测试工具有何看法?你的测试结果如何?欢迎留言与我们分享你的观点。

原文发布于微信公众号 - 互联网数据官(internetcdo)

原文发表时间:2017-05-19

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据和云计算技术

知识图谱扫盲

近两年来,随着Linking Open Data等项目的全面展开,语义Web数据源的数量激增,大量RDF数据被发布。互联网正从仅包含网页和网页之间超链接的文档万...

1.2K60
来自专栏ThoughtWorks

基于GitHub的敏捷学习方法之道与术|洞见

持续行动,持续反思,持续进步。—— via. 敏捷学习宣言 前言 对时间的敬畏 需要好多年才能懂得,最好不是去震惊世界,而是要像易卜生所说的,生活在世界上...

37730
来自专栏ATYUN订阅号

IBM推出AI OpenScale和Multi-cloud Manager,旨在简化AI和云部署

AI和云服务都是非常热门的行业。根据哈佛商业评论最近进行的一项调查显示,2016年AI总投资额达到260亿美元至390亿美元,是2013年的3倍。在接下来的15...

20330
来自专栏大数据和云计算技术

大数据和云计算技术周报(第53期)

“大数据” 三个字其实是个marketing语言,从技术角度看,包含范围很广,计算、存储、网络都涉及,知识点广、学习难度高。

9940
来自专栏腾讯社交用户体验设计

欢迎来到后 ASO 时代

14930
来自专栏PPV课数据科学社区

回顾R和微软过去的一年

托马斯·斯莫尔的ML / DL博客最近回顾了数据科学,机器学习和深度学习显著的进步-其中许多涉及R和/或微软。以下是他们的亮点: R Project R和Pyt...

33450
来自专栏PPV课数据科学社区

【学习】健康大数据分析方法:关联规则算法

在先前的一篇博客“数据挖掘与虚拟医药科研”中,本人讲述了一个“虚拟临床试验的大数据采集”的例子,即早在2011年06月辉瑞制药有限公司开展的一项名为“REMOT...

33770
来自专栏云计算D1net

Autopilot浮现 微软的云计算密钥

作为微软首席执行官,萨蒂亚·纳德拉可能还是位初来乍到的新人,但他对于该公司的关键性内部工具以及与Amazon及谷歌开展竞争的方案早已非常熟稔:这正是名为Auto...

41660
来自专栏吉浦迅科技

HSA 异构计算系统架构 1.0 标准发布

AMD 曾在多年前提出 "AMD Fusion" 概念,提倡将 CPU 和 GPU 集成在一起,提高两个核心间的沟通效率,APU 就是这个概念下的产物。 随后 ...

38160
来自专栏华章科技

天天在做大数据,你的时间都花在哪了

随着数据变多了,量变导致质变,数据足够大后其内部的隐含的规律会越来越精确和完整。机器学习则是将数据内存存在的这种隐含关联给挖掘出来的一项技术。

9420

扫码关注云+社区

领取腾讯云代金券