了解了这四件事,帮你走出深陷的数据分析迷宫

【导读】 数据中的错误往往最初尚属于良性范畴,但随着分析流程推进而变得愈发糟糕。这就像是在解数学题,我们要从头开始再推导一遍。这项工作可能费时费力,但却能够以清晰的思路帮助大家了解数据是如何一步步走偏并最终带来完全不可理解的结论。

通过真实世界中的实例,我们将共同通过种种错误的数据分析方式总结出正确的技巧与诀窍。

相信每位朋友都遇到过这样的情况:将来自各类渠道的数据收集起来,通过A/B测试进行验证,希望借此得出分析结论。但在检查结果时,我们发现这些数字似乎并不怎么合理。事实上,数据验证也是我们日常工作中的重要环节,而且与编码一样需要大量追踪与调试。在今天的文章中,我们将共同通过真实世界中的实例,在对种种错误的数据分析方式的总结中找出正确的技巧与诀窍。

别急着做出假设

感觉上是对的,并不代表就真是对的。我们的大脑常常具有误导性。我发现很多分析师都因这种失误而身陷分析迷宫。

下面来看一种常见的问题:变更聚合查询。

先看以下两行查询:

乍看起来,很多人会认为这两条查询的含义是完全一致的。左侧的查询只是包含了额外的几列,对吧?但事实并非如此。左侧查询中包含5个聚合层级,而右侧的只有2个。左侧的查询返回的总和数字更小,因为其定义更为明确。如果将其作为分析流程中的组成部分,那么不同的结果会给后续分析造成严重影响。

聚合错误是一类非常常见的问题,因此即使对自己的思路很有信心,大家也请务必再检查一遍。

Snapshot(快照)问题

过去四年当中,身为分析师与教师的从业经历让我意识到一大常见数据错误的起源:snapshot表。这类数据表面向特定时间段(每月、每周、每日),旨在保存对应时间点的数字化快照。

无论原因为何,这类表确实难倒了很多人。首先,这类表往往很难理解,这意味着刚刚接触此类表的用户无法立即意识到其属于snapshot表,直接导致用户对数据进行错误运用。最简单的预防办法就是为其设置明确的名称,告知用户其属于snapshot类型。

我们该如何识别出snapshot表并找出其使用方法?最明确的标志就是,snapshot表中的全部指标往往都较平均值有所夸大。大家可能曾经把周快照当成日快照处理,并发现其结果比预期值大5到7倍——幸运的是,这种错误还是很容易发现的。大家可以将其拆分成一天,例如时段中的最后一天,或者干脆取其中的最大值。具体参考以下示例:

选定一天:

找到最大值:

关键在于坚持以同一种方法使用snapshot表。根据实际背景与目标,我们可以选择最为有效的具体处理办法。

总结模式:

在验证数据有效性时,我发现总结其中的模式能够有效识别错误。具体问题包括:

•是否全部数据皆受到影响?

•受影响数据是否全部来自同样的群组?

•区别间呈正相关状态,抑或各自随机?

•数据之中是否存在某些模式?

这些问题有助于缩小思考范围。如果全部数据皆受到影响,则问题往往源自脚本或查询,而非数据本身。但如果某月或某日的值明显较低,则需要调查基础数据,这意味着该时段内的数据收集机制可能存在错误。

如果所验证的数据往往以等比例方式低于原始数据,可能意味着部分数据没能被聚合查询所正常收集。而基本逻辑错误则往往令分析结果呈现“随机性”,意味着其中没有明显的模式。

从头开始进行梳理

如果尝试了一切办法但仍然无法确定问题,那么只能进行深入挖掘了。虽然从直观上讲,我们都希望能够从出错的位置开始推进,但现在大家需要安下心来从头开始梳理。

数据中的错误往往最初尚属于良性范畴,但随着分析流程推进而变得愈发糟糕。这就像是在解数学题,我们要从头开始再推导一遍。这项工作可能费时费力,但却能够以清晰的思路帮助大家了解数据是如何一步步走偏并最终带来完全不可理解的结论。

内容来源:51CTO

原文发布于微信公众号 - 灯塔大数据(DTbigdata)

原文发表时间:2016-06-07

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏社区的朋友们

Qcon北京2017总结:测试角度看泛智能和大数据

本来这个文章应该在很早之前就写的,可惜一直没时间,写的时候断断续续。关键是这次leader 拓展又见晓生,每次见到他都会提醒我,这总结居然还没有写。下面就由小V...

4040
来自专栏Jerry的SAP技术分享

机器学习在销售报价单的产品推荐场景中的作用

大家平时在京东或淘宝上买一个东西后,手机app会自动向我们推荐一些其他我们可能会购买的商品,这些推荐就是背后的机器学习框架基于我们以前的购买习惯通过一定的算法计...

1153
来自专栏CSDN技术头条

每个软件工程师都应该了解的搜索技能

如果你问一名软件工程师:“如何给产品添加搜索功能?”或者“如何构建一个搜索引擎?”你可能会得到这样一个回答:“我们刚刚推出了ElasticSearch集群,以后...

2789
来自专栏人工智能头条

机器学习API Top 10:AT&T Speech、IBM Watson和Google Prediction

1785
来自专栏人工智能

使用Botkit和Rasa NLU构建智能聊天机器人

我们每天都会听到关于有能力涉及旅游、社交、法律​​、支持、销售等领域的新型机器人推出的新闻。根据我最后一次查阅的数据,单单Facebook Messenger就...

1.6K9
来自专栏媒矿工厂

全能媒体机—Matrix in Media?

本文总结了发表在IBC2018上,由英国Streampunk Media Ltd.的R. I. Cartwright和美国Gilmer&Associates I...

1735
来自专栏高剑林的专栏

认识多种处理芯片的特性和实战(下篇)

CPU已经占有了桌面和服务器处理器的绝大部分份额,而且这个趋势还在不断增强,但是在某些领域,CPU存在天然的缺陷,以FPGA、GPU为代表的硬件可以克服CPU的...

8401
来自专栏安智客

基于生物特征识别的移动智能终端身份鉴别技术框架

本标准中,技术框架也是基于可信环境实现,移动智能终端的身份鉴别协议解析、用户生物特征采集、比对、存储与呈现攻击检测等均应在可信环境中进行。可信环境的具体实现方式...

1475
来自专栏魏艾斯博客www.vpsss.net

搬瓦工选 kvm 架构还是 ovz 架构

4393
来自专栏CSDN技术头条

机器学习API Top 10:AT&T Speech、IBM Watson和Google Prediction

【编者按】随着机器学习算法的流行,Amazon、Google,、IBM和Microsoft等公司在机器学习云服务市场接连出手,并提供许多的API来吸引用户。本文...

2666

扫码关注云+社区

领取腾讯云代金券