预计阅读时间:10min
阅读建议:本文偏干货类文章,对于从事数据分析同学,建议整段时间完整阅读;对于数据分析爱好者,可考虑直接阅读案例分析。
解决痛点:指标异动归因,各维度均有变化,如何快速定位最有可能出现问题的维度?
00
序言
上一期,小火龙和大家分享了一种相对通用的「指标异动排查思路」,不知是否对你有所帮助。本期会接着上期的内容,在排查问题的过程中,解决遗留的第一个问题「如何快速定位异常维度」。
有的小伙伴可能会有疑问:
针对类似问题,小火龙在这里给大家举一个栗子▼
大盘量级:pv+100w
性别维度:男性 pv+50w ,女性 pv+50w
消费维度:高消用户pv+100w,中消用户pv+0w,低消用户pv+0w
大家觉得问题可能出现在哪个维度上呢?
是不是「消费维度」问题可能会大一些,而「性别维度」变化可能是被带动的。
由此可见,指标变化分歧较大的维度,更有可能是异动问题的本质。
下面会和大家分享三种之前应用过的方式,快速定位分歧维度。各方式均有一定适用场景,大家可以参考比较,并在实际工作中给予应用。
01
基于「卡方检验」的异常维度挖掘
1、方法介绍
首先向大家介绍基于卡方检验的方式。提到卡方检验大家应该都不陌生,卡方检验是一种用途很广的假设检验方式,属于非参检验范畴,其目的是比较理论频次与实际频次是否吻合,是否属于同一分布。核心步骤如下:
首先:设定假设检验的 原假设H0 和 备选假设H1。
其次:假设H0是成立的,基于假设计算出x2值(卡方值),x2值代表了实际频次与期望频次的偏离程度。
▲卡方值计算公式
再次:根据x2分布及自由度确定在H0假设成立情况下,获得当前统计量及更加极端情况下的概率P。
最后:如果P很小(理论小于0.05),则说明实际与期望偏离程度较大,分布不同。
2、案例分析
回到业务上,需要检验「now周期维度值分布」与「before周期维度值分布」,是否存在差异。以pv变化为案例向大家介绍如何应用。
步骤一:假设某产品now pv=5610,对比before pv=5750,以「城市」维度为例,通过卡方检验来验证城市维度值分布前后是否一致。
▲城市维度中维度值pv量级
步骤二:设置零假设H0:假设now pv和before pv分布一致。
步骤三:分别计算每个维度值的卡方检验值,并将其求和,计算得出整体X2值=41.4,如下图。
D2 = (C2-B2)^2 / B2
D8 = SUM(D2:D7)
▲城市维度中维度值卡方值计算
步骤四:计算自由度 df = (6-1) × (2-1) = 5,根据自由度及显著性水平0.05查询对应临界值11.070。
步骤五:比较临界值与统计值大小,41.4 > 11.070,即统计量大于临界值,认为差异较显著,其他维度也采用同样的方式进行计算。
3、方法优势
优势1:相对其他方式,验证分布是否一致较为敏感。
4、方法劣势
劣势1:卡方检验的频数只能以整数形式出现,相对指标不可用。
劣势2:由于维度变化存在波浪效应,不同维度下的指标,很难源于同一分布。
劣势3:不适合进行分布差异的量化。
5、方法总结
该方法仅可用于判断两绝对指标的分布是否有差异,但如果需要量化度量各差异的程度,以及在各维度间进行比较,此方式不太适用。「推荐指数:2星」
02
基于「决策树」的异常维度挖掘
1、方法介绍
由于卡方检验无法具体量化度量,因此需要一种方式来进行补充,而决策树则是一种相对好用的方式。
决策树的原理相信大家都有一定的了解,在网络上也有很多相应的资料,决策树的核心在于:利用熵来度量事物的不确定性,事物的不确定性越大,熵越大;不确定性越小,熵越小。
决策树从根节点开始分裂,目的在于通过不断地分裂,减少整颗树熵的大小;按照决策树的分裂理论,越靠近根节点的分裂维度,对于熵减少的贡献值越大。
2、案例分析
回归业务上,我们可以通过决策树,找出影响整体指标变动的最重要维度,并将其绘制成树型图,以下仍然以pv变化为案例,为大家介绍一下此种方式。
树模型搭建的核心在于特征和label,各维度作为模型的特征、指标的涨降作为label。
步骤一:选择核心维度作为模型特征。例如:用户基础属性、用户行为属性、商品属性等。将所选维度的所有组合cross生成底层数据表。
▲维度特征cross表
步骤二:label赋值。label这里为二分类,某交叉维度相对diff >大盘相对diff,赋值1,反之赋值0。
例如:大盘pv相对提升20%,“男性 + 30岁 + 广州 + ……“相对提升50%,由于50%>20%,判断此样本为正样本,赋值1。
步骤三:设置样本权重。为每个交叉维度样本设置权重,这主要是由于pv从10涨到50,同1000涨到5000,明显是不同的,对于流量较高的样本,需给予更高的权重,用于在计算模型损失函数的时候,赋予更高的“话语权”。
步骤四:搭建决策树模型,根据模型输出树的结构。这里要注意一点,由于决策树有大量的节点,如果我们将所有节点均输出,量级会非常大,以3个维度 + 每个维度10个维度值为例,则最终的叶子节点有1000个。
因此这里我们需要对树进行剪枝,通过维度值对大盘指标变化贡献度来筛选,挑TopN的树节点,至于贡献度的量化方式将在下期进行详解。
最终涵盖「主要变化维度」及其「贡献程度」(如下图)。
▲生成树结果
3、方法优势
优势1:树模型可解释能力相对较强。
优势2:可以很清晰的绘制维度拆分图,展现形式较为友好。
4、方法劣势
劣势1:样本权重需要手动干预,设置的是否合理,对结果有影响。
劣势2:无法给出维度的量化变化程度。
5、方法总结
该方式可以较好地挖掘异常维度及可视化展示,在日常核心指标的例行化监控中,是一个比较好的方式。「推荐指数:4星」
03
基于「相对熵」的异常维度挖掘
1、方法介绍
在决策树的基础上,我们想出利用另外一种基于「相对熵」的挖掘方式。此种方式核心是通过计算JS散度(度量两分布的差异程度),取值范围在[0,1],两分布完全一致则为0,完全相反则为1。简单附上JS散度计算公式,具体公式计算流程,这里不多介绍,如果感兴趣可以私信我。
2、案例分析
我们仍然以pv波动作为案例,选择「城市等级」和「性别」作为维度进行拆解,度量其中维度值的变化程度,如下图。
▲维度及相对熵计算内容
步骤一:生成各维度指标聚合数据表。如图:维度历史和当前的pv量级。
步骤二:计算维度值在维度中的指标占比情况。如图:维度历史和当前的pv分布P(x)和Q(x)。
步骤三:根据JSD散度公式,计算维度中各维度值的JSD得分,并将同维度进行相加。如图:城市等级JSD=0.00065,性别JSD=0.00184。
步骤四:由于JSD较小的维度,其内部维度值的分布变化程度不大,因此在排查维度问题的过程当中,可以将这类维度的排查优先级降低,甚至直接剔除在异常监控中。因此,可根据对于业务的理解,选择阈值,这里有一点需要注意,阈值设定需要划分等级。
例如:日常波动中,流量变化相对较小,阈值可以设置的稍微小一些,比如0.0001;而针对某些产品,各种节假日或者双十一会使得流量发生较大变化,这种我们可以适当增加阈值,例如0.001,从而能更有针对性的挖掘真正异常维度。
3、方法优势
相对熵的优势除了决策树优势外,另外还有两点:
优势1:无需人工干预权重,置信度相对更高
优势2:流程相对较短,效率较高
4、方法总结
该方式无论是在挖掘的准确度上,还是展示的量化程度上,都相对不错,大家在日常分析异常波动问题中,可以适当尝试应用。「推荐指数:5星」
以上就是本期的内容分享,码字不易,如果觉得对你有一点点帮助,欢迎「关注」「点赞」「分享」哦~~
END
【下期预告】本期解决了上期遗留的第一个问题「如何快速定位异常维度」,下期将解决上期遗留的另外一个问题「针对不同类型指标,如何给出量化结论」,静待下期分享~~
【作者简介】互联网大厂数据分析专家,本系列「经验」类文章,会和大家分享一些近些年从事数据分析工作的一些心得体会,希望能够帮助到同行的同学,同时也渴望和大家在此沟通探讨。