专栏首页互联网数据官iCDO为什么对比测试可能会扼杀转化率

为什么对比测试可能会扼杀转化率

前言:对比测试可能导致产品转化率下降?你没听错,看完本文你就会找到答案!

如果你已经尝试了所有方法,但产品的转化率依然处于下滑趋势,那么对比测试可能是导致这种现象的罪魁祸首。

是的,就是对比测试,这个传说中的流量开关、转化率助推器、自诩为目标用户提供支持策略的重要贡献者,却很少兑现它的承诺,导致虽然有些广告策划做的很棒,但最终却取得了失败。

在你大张旗鼓开始着手进行实验之前,我想一开始就向你澄清,这种宣称能够发现顾客喜好、激发用户热情并且能够一直带给他们最好体验的对比测试,其本身确实是一种靠谱的策略。任何一个经营活动都应该使用这种策略。

但是很遗憾,很多对比测试服务只会让你一知半解。今天就让我们一起深度挖掘一下到底是什么原因引出了这样的问题,以及如何处理。

对比测试最大的误区

前提很简单:制作两个或更多版本的页面。均分流量然后评估结果。但是这恰恰是让事实得以水落石出,让缺陷暴露无遗的地方。

事实上,你所收集的零散信息已经试着说服你相信一种选择会好于另一种选择,这个时候你本应该自然而然的就知道该怎样处理这样的结果。

例如,运用SumAll对同一页面进行了两种相同版本的对比测试 。测试结果表明第一个版本以将近20%的幅度明显优于第二个版本。

(Optimizely已经修改了他们的统计系统来阻止这样的缺陷混淆结果)

这说明了对比测试中一个很重要的问题:那就是你可以预测到业绩能够获得大幅增长的点,但如果你不将其转变成为可操作并且可以对直接收益产生影响的步骤,这些预测所产生的结果也是徒劳无用的。

你不知道的神秘统计秘密

冒着听起来太像Kevin Trudeau的转化率优化版本的危险,大多数对比测试和优化公司并不是真的要掏空你的银行账户,而什么都不留给你留下。他们会采用一种大而隐蔽的方式来使你感觉自我良好。

当需要通过不同的平台来完成对比测试时,,结果会有一些出入。比如 Visual Website Optimizer 和Optimizely可以进行所谓的“单尾”测试, 而另一些,如Adobe Test&Target 和Monetat可以做“双尾”测试。

那么两者之间有何不同,我们为何需要关注呢?

SumAll把这种测试带到了这里,这将对你未来的对比测试产生巨大影响。为了更好的解释这种想法,打个比方。

单尾测试寻求的是积极的相关性,就好像一直在牌桌上赢牌一样,那些并不真正懂,或者不在乎对比测试细节的高管们偏爱单尾测试,因为他们看起来总是在坐庄。这听起来对网站和用户都有好处,更不用说是工作的保障了。但这里有一个大问题,即单尾测试披着统计外衣的皮,并不能带来有意义的分析。

接下来是双尾测试。

双尾测试考量的是在过程中可能发生的事情的正面和反面,你需要更多的数据支撑来得出结论,但结论揭示了一些在单尾测试中找不到的点。

但这并不总是意味着双尾测试带来的都是正确的答案。在一些情况下,你需要用证据去验证一个具体测试中的积极结果。而单尾测试仅需要少量的资源进行验证便能得到结论。重点是你要知道自己考量的是什么,清楚这个因素在多大程度上直接影响到了你的底线和转化率,以及在多大程度上这个因素只是个噱头。

统计学的巅峰

我曾经写过“统计学意义”,讲的是它为什么很重要以及它是如何影响你的测试结果的。

在收集到足够的信息之前,许多对比测试往往就已为你展现了一个倾向于取胜的选项。测试可能会挑选出有90%统计学意义的赢家,你也按照这个结果对网站做出了改变,当然你的用户会察觉到这些变化,特别是那些以前访问过的用户,因为网站变得有所不同了。这些改变也许会让你的转化率受到波动,但只是暂时受到波动而已。

如果你没有足够的流量进行对比测试,是否能得出具有统计意义的结论?那么你需要知道这个事实,很多的服务商为了谋取利益会降低门槛并告诉你,只需要100个用户访问或者更低的数量便能测试出结果。

这对你是不公平的,这对每一个对比测试工具的使用者都会产生巨大的伤害。

你可以做什么?

这篇文章并不是意在抨击优化转化率的工具平台,而是想告诉你,使用这些工具,你真正能得到的是什么。庆幸的是,这里有些方法可以供你使用,并且可以使你的对比测试实验真正有效,为你提供真正的结果,并真正持续的提升你的转化率。

当进行对比测试时,你怎么能够判定得到的结果是实实在在且具有深度洞察的结果,而不只是隔靴搔痒的结果呢?

你仍然可以使用你喜欢的工具创建一个测试,但如果想要更好的看到它是如何进行的,我们还是使用Kissmetrics的仪表板创建一个A/B测试报告。Kissmetrics集成了多种对比测试的工具。然后,简单的创建一个新的报告,选择一个实验以及一个转化事件,如下图所示。

假设我们希望看到,哪些免费体验活动带来了更多的付费订阅者,运行测试, 然后加载一下测试结果:

截止到目前,你并没有看到任何与其他测试工具有所不同的结果。你看到的都是一些司空见惯的的结果,比如测试运行了多长时间,有多少访客访问,以及两个测试选项各自发生了多少转化。在这个例子中,我们可以很清晰的看到变体要明显优于原网址。

是时候将所有注意力集中到变体了,对吗?

等等,还不到时候

这个情况是大多数人停止运行对比测试实验的时候,而事实上我们才刚刚开始。

我们之前是想看到到底有多少人注册了,接下来,我们看一下另外一个角度的数据,将转化事件从“注册”切换成 “新用户付费订阅”选项。

点击“运行报告”,出人意外的是,从新用户付费订阅的数量上来讲,原网址居然优于变体网址。因此尽管在“注册”的转化事件上,变体网址要优于原网址,然而从注册并转化成为付费用户的角度来讲,原网址明显优于变体网址。这才是我们真正想要的转化结果。

A/B测试报告是一个很棒的工具,能够帮助你了解最后真正发生转化的测试选项是什么。你可以用A/B测试做更多的事情,包括测试在销售漏斗之外的结果,就像下面这个。

先细分,再测试

与其对所有用户进行盲目的全面测试,不如先进行细分分组。将访客与用户、移动用户与PC用户、通过电子邮件订阅的访客与非订阅者细分分组。当然分类方式有很多,用这种方式来做真正的同类比较能够得出更合理的测试结果。

再次运行测试

测试过程有时候也许看起来有违常理,但这其中的很多波动起伏也许只是海市蜃楼的错觉。这时我们需要再次进行测试,拉长测试时间,这样可以帮助你得到更有意义的测试结果。

在Martin Goodson的“大多数A/B测试的胜出结果是虚无缥缈的”指导中,举例说明了数字统计在排除假数据和混淆对比数据上的影响。

这是一篇简短但具有启发意义的文章,特别是如果你没有统计学背景(像我一样)。

验证假设

大多数A/B测试都基于假设。如果改变了X,对Y的影响是怎样的?但在过程中,会提出很多假设。例如,假设你的访客都来自同样的背景,都是年轻妈妈们,或都是勤劳的渔人,或者都是热爱健身的人。由于错误的人群定向,可能会使结果产生巨大的误差。

所有的这些观点都不足以让你彻底放弃使用对比测试,而你更需要去深层次的去认识你到底需要什么,做怎样深入的功课,这样你就不会仅仅只获得一些空头数据,反之你将得到最后能够全面带来长期增长的数据。

你对现在的对比测试工具有何看法?你的测试结果如何?欢迎留言与我们分享你的观点。

本文分享自微信公众号 - 互联网数据官(internetcdo),作者:黄文博/祝洁

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-05-19

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • A/B测试的十个黄金准则

    译者:李睿 本文长度为2770字,预估阅读时间4分钟。 互联网营销人员经常会用A/B测试的方法来优化广告策略,进而实现收入或转化率的提升。但是,如果并未采用正确...

    iCDO互联网数据官
  • A/B测试执行时间多长效果最好

    A / B测试恐怕是有史以来最有争议的营销策略之一。每个人对其是否有效都有自己的意见。

    iCDO互联网数据官
  • 为什么对比测试会扼杀转化率

      如果你已经尝试了所有方法,但产品的转化率依然处于下滑趋势,那么对比测试可能是导致这种现象的罪魁祸首。   是的,就是对比测试,这个难以想象的流量开关、转化率...

    iCDO互联网数据官
  • 如何组建测试团队(一)

    张树臣
  • 软件测试计划

    软件测试计划是指导测试过程的纲领性文件,包括产品概述、测试策略、测试方法、测试区域、测试配置、测试周期、测试资源、测试交流、测试风险等内容。

    week
  • 一步步实施 DevOps (二)

    中国广东省深圳市望海路半岛城邦三期 518067 +86 13113668890 <netkiller@msn.com>

    netkiller
  • 高性能MySQL第二章 读书笔记

    用户7962184
  • 高效持续测试策略的4个要素

    通常,当组织计划并实施有效的测试自动化策略时,他们认为他们正在实施连续测试。他们错了。

    用户7466307
  • 产品不同测试阶段的测试分析

    软件测试应该贯穿软件产品的整个研发周期,在不同的研发阶段,会有不同的测试方法和手段跟进。进行不同的测试来保障产品的质量。软件测试的分类有很多种,本文章就以一个...

    小老鼠
  • 再谈接口测试

    目前大多数的公司招聘测试,几乎都要求应聘者能够会接口测试,几乎成了一种趋势,大多数的要求是会主流的测试工具,如PostMan,Jmeter和Soup...

    无涯WuYa

扫码关注云+社区

领取腾讯云代金券