为什么对比测试会扼杀转化率

　　如果你已经尝试了所有方法，但产品的转化率依然处于下滑趋势，那么对比测试可能是导致这种现象的罪魁祸首。

　　是的，就是对比测试，这个难以想象的流量开关、转化率助推器、自诩为观众支持策略的主要贡献者，却很少兑现它的承诺。它有可能成为那些计划得最好的广告中失败的问题所在。

　　现在，在你大张旗鼓开始工作之前，我想一开始就向你澄清，这种能够发现顾客喜好、鼓动顾客热情并且能够一直给他们最好体验的对比测试，其想法本身是一种扎实的、健全的策略。任何一个经营活动都要贯彻这种方式。

　　但是很遗憾，很多对比测试服务只会提供给你这种困惑的一方面。今天就让我们一起深度挖掘到底是什么引起这样的问题，又如何处理它。

对比测试最大的误区

　　前提很简单：创建两个或更多版本的页面。均分流量然后评估结果。但其实真正想要得到的是其中暴露出来的缺陷。

　　假设你应该知道如何分析这些结果，但其实从这些收集的零散信息中，它们已经试着说服你相信一种选择会好于另一种。

　　例如，运用SumAll对同一页面进行了两种相同版本的优化测试 。测试结果表明第一种测试优于第二种接近20%。但这说明了对比测试中一个很重要的问题：那就是你可以按照你的设想来预测这些宏大的结果，但如果不将其转变成为可操作并且可以对直接收益产生影响的步骤，这些（预测所产生的结果）也可能是无用的。

“他们”不想让你知道的这些暗中的数据秘密

　　冒着听起来太像 Kevin Trudeau的转化优化版本之前，大多数对比测试和优化公司并不是真的要掏空你的银行账户，而什么都不留给你留下。他们会采用一种大而隐蔽的方式来使你感觉自我良好。

　　当工作需要通过不同的平台来完成对比测试时,却有一点出入。比如视觉网站优化和Optimizely所谓的“单尾”测试, 而另一些，如Adobe Test 和Monetat的“双尾”测试。

　　那么两者之间有什么不同，我们又需要关注什么呢？

　　SumAll把这种测试带到这里，怎样来分化测试则对数据的阐释有很大的影响，为了更好的解释这种想法：

　　单尾测试寻求的是积极的相关性，就好像一直在牌桌上赢牌一样。那些并不真正懂，或者在乎对比测试细节的高管们偏爱单尾测试，因为他们总是觉得能够获得大赢。听起来对网站和顾客都有好处，更不用说是工作的保障了。但这里有一个大问题，在所有其他形式的统计——显著的东西，并没有使其进入分析行列。

　　接下来是双尾测试。

　　双尾测试考量的是在过程中可能发生的事情的积极和消极的相关性，你需要更多的数据来得到一个结论，但结论揭示了一些不同的点，这些在单尾测试中是找不到的。

　　但这并不总是意味着双尾测试是正确的答案。这样的情况有时会发生，当你希望用证据去关联到一个积极的结果，而单尾测试仅需要少量的资源便能得到结论。重要的是你要清楚它有多少是真的直接影响你的底线和转换率，以及它有多少只是为了给人留下印象。

统计学的巅峰

　　我曾经写过“统计学意义”，讲的是它为什么重要以及它如何影响你的测试。

　　许多对比测试往往在你收集足够信息之前就已推动你倾向成为赢家。即使测试挑选有90%的统计学意义的赢家，然后你在网站上做了改变，当然你的受众会察觉，特别是那些以前去过的，因为网站有变得不一样。这可能渗透到你的转化率，但只是暂时的。

　　如果你没有足够的流量来标记一个在统计数字上重要的测试项目该怎么办呢？与其告诉你需要更多的访问来看到一个可衡量的结果，很多的服务商会降低这个门槛而告诉你只需要100个用户访问或者更低的数字。

　　这对你是不公平的，它对每一个参与者都是一个巨大的伤害。

你可以做什么？

　　这篇文章并不是抨击转化优化平台，而是想告诉你，你真正得到的是什么。庆幸的是，这里有些方法你可以采纳来使你的对比测试对工作真正的起作用，能够得到正确的结果，真正影响转化率——一贯的。

　　所以当进行对比测试，你怎么能够判定得到的结果是更深更实质性的结果，而不是浮于表面的呢？

　　你仍然可以使用你喜欢的工具创建一个测试，但如果想要更好的看到它是如何进行的，我们还是使用Kissmetrics的仪表板创建一个A/B测试报告。Kissmetrics集成了多种对比测试的平台。当然，这里只是简单介绍下创建一个新的报告，选择实验以及转换事件。

　　假设我们希望看到免费试用带来更多的付费用户。我们让我们的测试运行, 现在是时候来加载结果:

　　截至目前，你并没有看到和其他测试平台相比，这里提供给你的有什么不同。你看到的也是很普通的结果，比如测试跑了多长时间，有多少访客，以及两者之间有多少转化。从这个例子中，我们可以很清晰的看到变异测试打败了原型测试。

　　是时候将所有事情换成变异测试了，对吗？

等等-我们还没有完成

　　以上只是大多数对比测试结束得到的结果，而我们才刚刚开始。

　　因为我们想看看有多少人确实注册了。要检查这一点, 我们将转化事件从“注册”转换 “订阅-新用户”。

　　点击“运行报告”，出人意外的结果是，在新用户订阅上，原型测试击败了变异测试。所以在“注册”上变异测试击败原型测试——原型测试则在转化这些新注册用户变成付费用户上有更好的表现。这种转化恰恰是我们真正在最后想要的结果。

　　A/B测试报告是一种很好的方式来告诉你到底哪种测试在最后真正的进行了转化。你可以更多的使用这种方法，包括测试在你的测试漏斗之外的结果，就像这个。

先分组，再测试

与其对所有用户进行全面测试，不如分组。访客和顾客、移动用户与桌面用户。游客通过电子邮件与非订阅者订阅。分类方式有很多。以这种方式来做一个真正的横向比较,并且得到更合理的结果。

再次运行测试

　　这也许有违常理，但很多这些所谓的运算可能是错觉。再次进行测试，或者将测试更长的时间，可以帮助你得到更有帮助和有意义的结果。

　　在Martin Goodson的“Most Winning A/B Tests Are Illusory”指导中，举例说明了数字统计在排除假数据和混淆对比数据上的影响。

　　这个简短的，但仍然有启发性去阅读，特别是如果你没有统计背景（像我一样）。

攻克假设

大多数A/B测试都基于假设。如果改变了X，对Y的影响是怎样的？但在这个过程中，会引入很多假设。例如，你假设你的访客都来自同样的背景，都是年轻妈妈们，喜欢钓鱼或者健身。这可能会产生巨大的误差——因为错误的目标受众。

　　所有的这些观点都不足以让你彻底放弃使用对比测试，而你更需要去深层次的去认识你到底需要什么，做怎样深入的功课，这样你就不会仅仅只获得一些庞大的数据，反之将你得到的转化成全方面确定的，长期增长的数据。

　　欢迎留言和我们分享你的观点。