方法 | 数据异常增长怎么办

原创内容

No.685

方法 | 数据异常增长怎么办

是不是真的异常这件事很多时候是和经验有关系的。

图片由海艺AI绘制

假如你今天上班看到销量的报表变成了下面这样，你会做什么？

只要是做过一天数据分析师的同学这个时候就应该立刻紧张起来了：数据异常，开始排查。

数据异常的排查可以算得上是泛数据分析类工作日常实战中最常遇到也是面试中最常遇到的问题之一了。我们今天就来体系化地讨论一下这个问题。

遇到这种事情排查思路和处理方式其实是多种多样的，只不过实操的时候我们通常是很多中办法一起用罢了。

如果是在统计学上，排查异常值我们有很多方法，这里就不罗列了，比如箱型图法、IQR法、回归分析残差法等等。有兴趣的朋友们可以点一下在看，如果感兴趣的朋友比较多，下一期可以专门做一下异常值排查的统计式的思路。

在遇到数据异常的时候这些统计学的排查方法当然都是可行的，但是在实操过程中，我们通常的排查思路要简单很多。真实的操作中，无外乎就是三种方法：个别法、分类法和时间序列法。

换句话说就是简简单单的三个SQL基本就能100%定位到问题了。

如上图所示的这种程度的异常，无外乎就是两种可能：①数据中有异常的数据；②程序有问题。

第一个操作就是直接看最大值是多少，是不是异常了，直接一个select max() from xx直接就可以精准定位到数据中是不是有很离谱的数据了。至于离谱不离谱的界定，稍微有一点生活常识就是能判断的，比如说我是咖啡店的生意，如果我看到max值是10000就可以直接锁定这是一个异常的数据了，谁家正经人买咖啡买了一万块？

实操中，第一招大概能秒杀一小半的题目，如果这一招不管用，那就只好祭出第二招了：分类法看看各个类型的数据是不是有异常。还是很简单的一个SQL，直接看昨天的数据各类别是不是有异常，当然，这里也是比较考验业务经验的，如果对基础值正常的范围是多少没有数的话这么看也不一定能定位到问题。不过问题不大，还有第三招，看分类别的时间序列，这样更容易看出来到底是什么数据有差异。

尽管这么三招看起来非常简单，但实际上都是一种后知后觉的后手了，依然不是什么高效的做法，真正高效的做法是直接能够通过BI报表中的趋势看到数据异常的来源是什么。只不过已经看到异常的时候再去苛求为什么之前没有看板用于快速定位问题之类的讨论其实是没有意义的。

从实操的角度来说，遇到这种情况的操作也是有一定的套路可循的。不多废话了，先把实操流程图放出来给大家看看：

只要不是孤军奋战型的团队，看到这种情况的第一件事情就是去摇人，而不是开始进行问题的排查。要知道，快速摇人的好处可多着呢，首先，让领导立刻知道有这么个问题，以免领导被问起时陷入被动；其次，光速把各种队友都脱下水，能够在一定程度上减少自己背的锅；最后，很多问题可能就是别人一句话的事情，得到队友的帮助远比你查半天的效率要高得多。

然而还有一种更可怕的情况，那就是上面的排查都排查过了，愣是没有发现任何的问题：原始数据确实是这样的，且进行程序上没有任何改动（一个很朴素的逻辑，如果程序没有改动，大概率不至于昨天没有逻辑问题但是今天突然出现逻辑问题，如果有那一定是之前的逻辑中本身就存在漏洞，今天的数据异常恰好击中了这个漏洞）。

这种时候就要考虑两条腿走路了，一边是和业务人员确认是否有发生业务上的异常，另一边就是请开发人员排查逻辑漏洞了。

我之前的文章中有讲到，做数据分析师，很多时候情商和人脉能够极大地助益自己的工作就体现在这里了。如果你和业务团队的人关系极好，那么很有可能你在这个数据异常的时候问一嘴业务的人员，人家就直接把答案告诉你了，比如：昨天我们签了一个超级大订单。甚至有可能你在数据统计之前就已经知道了这个消息。

排除上述的各种情况之外，还有一个场景也不容忽略，那就是时间和现实因素带来的业务爆炸。比如双十一这种非常特殊的时间节点带来的业绩爆炸，或者外部因素，比如全妹夺冠后同款发卡一下子卖爆了这种情况。

总的来说，对于数据分析师而言，这种突发的数据异常作为数据分析工作中的经常遇到的异常场景之一，还是非常容易处理的。

可能对于没接触过这个工作的小白来说可能有点反常识，但实际上越是大幅度的变化越容易被定位和处理，反而是持续的小幅度的变化更让人头秃。比如下面这种情况：

下一期，我会带来一个小幅度数据异常的分析思路和处理。

二号姬

半路出家自学成才的文科数据人，看过了大厂的风景也做过了小厂的CDO~目前是闲职，写写稿带带学生，欢迎勾搭~