| 导语 在腾讯微视的数据分析中,为什么经常遇到“1+1不等于2”的情况?这个问题在很多业务场景非常普遍,我们经常听说A部门说,我为大盘增量贡献了100W的收入,B部门说,我贡献了200W,两个部门都没有说谎,但是大盘却只有250W的增长。这是为什么呢?本文将就这类问题详细讨论。
数据分析中,为什么1+1不等于2?
这个问题在很多业务场景非常普遍,我们经常听说A部门说,我为大盘增量贡献了100W的收入,B部门说,我贡献了200W,两个部门都没有说谎,但是大盘却只有250W的增长。
这是为什么呢?
先抛一张图
本文将就这类问题详细讨论,下面个我工作中遇到的案例。
案例
产品迭代(以下称Driver)Driver A 和 Driver B
(这里为了说明问题,数值上略有夸张)
我们发现上述实验有个问题:
为了突出重点,我们首先排除一些确有可能的原因,例如用户结构发生变化,外部因素干扰,同时我们经过反复论证大盘的涨幅60%确实由这2个Driver带来。
AB Test量化的结果,按理说应该不涉及重复计算,为什么有上述的问题?
其实AB Test虽然不涉及重复计算,但会涉及到Driver之间的叠加效应
叠加效应:1+1>2
以短视频产品 微视,举个例子来说:
所以,
一般情况下,1+1>2是我们鼓励的方向,这说明各个团队在做合作共赢的事情,至于在大流量实验时重复计算收益的问题,我们可以通过核算修正解决
抑制效应:1+1 < 2
上面提到了相互促进,那么有没有Driver A和Driver B相互抑制的情况呢?
当然存在,并且在显示中还特别普遍,如下图示
以微视的任务福利中心,举个例子来说:
·Driver A是,刷红包视频,领视频红包
·Driver B是,看视频,赞时间换金币
上面2个活动同时上线,
一般情况下,1+1<2是我们不鼓励的方向,这说明各个团队在为同一个产品做趋近相同用户价值。
联合实验
实际上,绝大多数时候,从产品角度理解,都会同时存在「相互促进」和「相互抑制」这2部分,从结果角度,其实我们只需要关心「整体交叠影响」即可。
真实存在的只有「整体交叠影响」,并不真实存在「相互促进」和「相互抑制」这2部分,只是为了方便从产品视角的的理解。
为了清晰量化「整体交叠影响」,我们可以通过AB Test的层域模型,进行联合实验,清晰量化交叠贡献。
简单来说,就是在大流量阶段,我们保留1个实验组,即不受Driver1影响,也不受Driver2影响。如下例:
详细可参看《浅谈AB Test实验设计和数据分析(二)——层域模型的设计》
(https://mp.weixin.qq.com/s/SSRlELhzy3nOkjeYI1nmXg)
论功行赏的问题
从大局视角出发,关注大盘指标就好。
但对于具体业务同学,如何分配业绩也很重要,当交叠贡献时,如何论功行赏。
例如,
那么这里引入一个问题,新用户和留存共同作用的部分,如何计算?
这里一般可以采用边际收益量化,即
总的来说,发放不一定唯一,论功行赏的问题,往往计算方式,会牵引业务朝着不同的方向发展,对业务发展有牵引作用,一般情况下需要根据管理者希望的牵引方向而制定。
小结
1+1不等于2,时常存在,
关键在于我们如何调整分工、组织,使得团队之间相互合作、促进,做更多1+1大于2的工作。