什么是AB实验？能解决什么问题？终于有人讲明白了

导读：走向身边的AB实验。

作者：木羊同学

来源：大数据DT（ID：hzdashuju）

“AB实验”是一个从统计学中借来的工具。我和大家一样，每次只要看到“统计学”这三个字，下意识就觉得这事和我没啥关系，然后手就忍不住想要点击下一条文章。不过且慢，开篇我说AB实验是一个从统计学中借来的工具，借来给谁用呢？给我们自己用。所以下面不会介绍太多的统计学知识，主要讲讲AB实验能和我们发生怎样的故事。

01 什么是AB实验

开始之前总得介绍两句什么是AB实验。简单来说，AB实验就是“对照”，过程分三步：首先设置实验组和对照组，然后用一段时间来收集数据，最后比较二者的不同效果。所以，AB实验也叫“对照实验”。

临床医学上有个词叫双盲测试，随机将病人分成两组，分别服用实验药品和安慰剂，经过一段时间后比照两组的治疗效果。这就是AB实验的最早来源。

这些都是很熟悉的词，原理也不复杂，相信大家都理解了什么是AB实验。不过，这里有个陷阱。如果真的以为AB实验只能用于在实验室里做实验，是那些穿白大褂的人才需要关注的事，那就被名字给骗了。

AB实验远不止于实验。AB实验有两个核心价值：定性因果和定量增长。这两个词可能过于正式，我觉得不妨换另外四个字概括，那就是“减少争执”。

02 争执之源

我们都不喜欢争执，但我们又都免不了争执，究其原因恐怕是观点难免存在冲突。拿件具体的事说吧，现在准备开发一款产品，开始大家目标很一致，那就是成功。不过，接下来分歧就来了。什么样的产品才能取得成功呢？众多纷纭，大家心目中的成功产品都不一样，甚至还有矛盾之处，然后就开始了争执。

我们经常能看到一些分析，说某某产品的成功因素是什么什么，感觉这个时代已经把通往成功的道路都统统标绘了出来，或者干脆就有一本《成功字典》，要成功只要照着查就行。

但是，事实真的如此吗？市场不断推出新的产品，许多最终都不怎么成功。虽然老话常说“失败是成功之母”，不过，应该没有哪个产品是抱着给成功当妈的决心推出市场的。既然大家都想成功，似乎大家也都知道该怎么成功，那为什么还会失败呢？

失败如果没有立即失业，那么通常是要开一个总结会的，总结一下到底是什么原因导致了失败。失败的总结会是很不好开的，开着开着可能就变成各个部门扯皮推诿。那么，成功的总结会好不好开呢？也不好开，不同部门也会各自邀功，都说这次的成功主要是自己某某工作的结果。

什么导致失败，什么导致成功，这些都是定性因果。如果再在定性因果上加上量的变化关系，譬如说已知因素A导致因素B，现在A增加了5个单位，想要知道B能增加几个单位，这就是定量增长。

定性因果和定量增加都是企业关注的问题，特别是现在都在提企业数字化转型，如果各条业务线都能建立量化因果模型，那么，接下来用数据驱动增长自然水到渠成。

但是，这很不容易，定性因果首先就很不容易，而且很容易成为争执的源头。企业都开总结会，但是不同人不同部门总结的因果关系很可能都不一样。同一个产品成功了，甲部门说是因为A、B、C三点，乙部门说是因为D、E两点，又说要不是因为有C，结果还会更好一些。

大家观点不一样，甚至还有冲突，结果自然只能争执，一旦牵扯了部门利益，要找到一个大家都能接受的观点就更不容易——再说了，大家都能接受就表示是正确了吗？

03 选择之困

总结因果当然不仅仅只是为了总结因果，还将影响一个更大的问题，那就是选择。做一款产品有很多的环节需要我们选择，如果还是重要环节，那我们要做的选择就叫做重要决策。决策的好坏，可能直接决定了这款产品的生死。

据说很多现代人都得了一个不是病症的病症，叫选择困难症。选择困难吗？困难，也不困难。在游戏里面，每一个选项后面都标识了效果，譬如说这个加3点攻击力，那个加1点生命值，选了之后有哪些效果一清二楚。

可惜，现实不是这样的，选项后面可没有那些闪闪发光的标记。当然，我们还是会想知道该怎么选，也想出了一些办法，主要来说有两种。一种叫集思广益，让大家来选。召开一个讨论会让大家发表意见，不过，原意是想从四个选项中选一个，结果经过一番唇枪舌战，选项又多了三个。

况且，对于产品设计来说，人多并不意味着正确。有一个词叫“委员会设计”（Design by committee），听起来像是夸奖，但其实是个贬义词。一个产品为了妥协多方意见，最终导致臃肿不堪，我们就会把它称为委员会设计。

类似的案例有很多，有时你会遇到一些产品，设计杂乱无章，看起来像是铁了心要得罪评审老师的毕业设计，但一看名字居然是出自某个知名大企业，不用感到太过意外，也许你遇到的就是“委员会设计”。

那另一种方式就是叫领导拍板，让领导来选。这里的“领导”不只是行政上的领导，也包括权威专家。领导知道的总是要多一点，是不是总结因果的水平也更高一些呢？

不能说错，但肯定不对，因为天才也是会犯错的。譬如说乔布斯，最初iMac在选择外壳时有几种方案，其中一种是采用半透明塑料制作，样子非常好看，但成本是其它的三倍。大家都反对，乔布斯力排众议选择了这个方案，最终iMac大获成功，还奠定了苹果“设计优先”的传统。

这似乎是一个领导拍板的成功案例。不过，我们反过来想一下，假如iMac最终惨败收场，事情会变成怎样呢？后人再说这件事的时候，就变成了乔布斯“一意孤行”，大家已经正确预判到了结果，但他置若罔闻，最终翻车也就理所当然。

这并不完全是假设。了解的同学应该知道，苹果也好乔布斯本人也好，都是狠狠地翻过几次车的，原因正是乔布斯“一意孤行”。读到这里我总是会想，“力排众议”和“一意孤行”有没有可能说的根本就是同一件事。不过无论怎样，哪怕领导水平真的很高，交给领导选择也未必就能十拿九稳。

04 事实之选

交给大家来选不行，交给领导来选也不行，难道就没有更科学的方法了吗？有的，就是AB实验，交给事实来选。

前面我们说AB实验能减少争执，为什么？因为有一句话叫“事实胜于雄辩”。你说A是成功因素，那么好，我们就来做实验，一组有A一组没A，看看最后哪组的效果好。如果事实证明没A的效果更好，那应该也没谁愿意再花口舌去争论了。

选择也一样。领导不一定是对的，大家也不一定是对的，但事实一定是对的。把选择权交给事实，结果也许不一定符合期望，但一定符合事实。

Bing是一家知名的搜索引擎，搜索引擎是靠用户点击广告获得收益。某天一位员工提出“将标题下的第一行文字合并到标题行，形成长标题”能够增加用户点击率，这条建议实在过于无厘头，大家纷纷打出了“哈哈哈”表示不信。不过，Bing最终还是抽空真的试了试，结果效果拔群。这就是事实。

AB实验绝不仅仅只是实验室里白大褂们的专利，有着更为广阔的应用空间。当然，AB实验既然来自统计学，免不了有很多复杂的因素影响结果的客观，而AB实验作为实验，自然还有很多现实的情况需要加以考虑，怎样组织AB实验又是另一件不亚于选择的头疼事情。我推荐看一本书《AB实验》，更系统地了解AB实验方方面面的内容。

关于作者：莫凡，网名木羊同学。娱乐向机器学习解说选手，《机器学习算法的数学解析与Python实现》作者，前沿技术发展观潮者，擅长高冷技术的“白菜化”解说