荐读|大数据会撒谎?如何戳破大数据的谎言

数据科学家使用统计分析工具深度挖掘数据潜在的内容时经常会遭遇到大数据挖的坑,实际上这些坑并不是只有大数据才有,大自然本身就存在很多虚假的相关性,大数据只是更加剧了这种虚假的相关性。

随着数据来源的增多和预测类型的多样化,数据建模关系的数量开始接近无穷大。正如David G. Young指出的那样,在预测分析的时候,我们要看到相互作用,变化的曲率、意义,有时甚至要看到变化的标志。

在做数据建模的相关性分析时,最关键的是找对数据范围,尤其是设置合适的变量和算法。一旦你找到了变量和算法的正确组合,那么你就掌握了正确打开相关性分析的密钥。

有时候,我们会发现数据建模的相关性可能和实际情况并不相符,它只是你自以为正确的数据模型。即使你本身并没有欺骗的意图,也是按照科学的方法来建模的,但是你的数据模型并不一定能帮助你获得数据背后的真正洞察力。

认知偏差是每一个人都会犯的错误,即使你是一个非常优秀的数据科学家也不能百分百确保不犯数学和逻辑上的错误、正确的挖掘出数据背后的价值。

诺贝尔经济学奖获得者丹尼尔·卡纳曼在他的著作《思维说,快与慢》中表示:人类如果没有接受教育,那么每个人都是生而不同的。我们可能无法看透数据统计的深层次内容,但是现实世界确实存在着某种规律,这种规律有时难以捉摸,但有时我们只凭直觉就可以找到。

如果你是一个正在探索数据驱动的数据科学家,那么你就要注意虚假相关性,它将会是一个非常危险的陷阱。这种虚假相关性产生的原因可能是数据科学家太想要验证某个假设,也可能是迫于企业的商业模式的要求。利用这种虚假相关性建立的数据模型也许能够解决一时的问题,但是它本质还是一个劣质的模型,经不起时间的考验,说不定会在哪个瞬间给你致命的一击。

那么数据科学家如何才能减少在数据挖掘时无意中做出虚假统计相关性的概率。

集成学习

集成学习是使用一系列学习器进行学习,并使用某种规则把各个学习结果进行整合从而获得比单个学习器更好的学习效果的一种机器学习方法。这种方法的难点在于要在不同的样本中进行训练,采用不同的算法,但是这种方法能够有效的揭示一些相关性。集成学习的算法是通过独立模型的结果集的训练、取平均、bagging、boosting等多种方法得到的,能够有效减少各层模型之间的差异。

A/B测试

A/B测试其实是一种“先验”的实验体系,属于预测型结论,与“后验”的归纳性结论差别巨大。A/B测试顾名思义就是为同一个目标设计A、B两套方案,其中一个为守擂者,一个为攻击者,通过科学的实验设计、真实的数据监测来选出最具预测价值的方案。

稳健模型

这种方法涉及到数据建模的方方面面,为了确保预测是稳定的,我们要多方考虑,比如数据源、采样技术、算法方法、时间等等。此外,离散点分析也是非常重要的,Vincent Granville前几年就已经表示数据集的异常有可能掩盖数据的真正模式,增加虚假相关性的发生率。

“数据驱动决策”已经成为这个时代的潮流,好的决策应该是数据驱动的,所以数据模型的建立就显得尤为重要。如果你是一个数据科学家,希望以上的方法能够对你建模有所帮助。

内容来源:IT168

原文发布于微信公众号 - 灯塔大数据(DTbigdata)

原文发表时间:2016-08-31

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏SIGAI学习与实践平台

非算法类人工智能从业者须知的十件事

AI大潮汹涌,吸引了越来越多的人才进入来添砖加瓦。而其中,除去核心的算法工程师、科学家外,催生了大量相关的从业人员。而无论你是销售,产品,设计,甚至是协作的AP...

1172
来自专栏新智元

再见AI黑匣子:研究人员教会AI进行自我解释

---- 新智元编译 来源:thenextweb 作者:艾霄葆 【新智元导读】AI决策过程的黑匣子问题一直是AI领域最大的担忧之一,但近期黑匣子决策问...

36911
来自专栏PPV课数据科学社区

【微报告】校园行(上)之社交大数据概念理解及应用案例

一、大数据 1、大数据时代 随着智能手机的普及,网民参与互联网产品和使用各种手机应用的程度越来越深,用户的行为、 位置、 甚至身体生理等每一点变化都成为了可被...

36112
来自专栏AI科技大本营的专栏

别瞎搞!对自己定位不准,看再多机器学习资料也是白搭(附资源)

找资料也是门学问,别抓着机器学习就一拥而上。 作者 | Jason Brownlee 编译 | AI100(ID:rgznai100) 来看个小故事:机器学习火...

3158
来自专栏人工智能头条

写给大家看的机器学习书【Part1】

2563
来自专栏大数据文摘

这个用来玩儿游戏的算法,是谷歌收购DeepMind的最大原因

1416
来自专栏AI科技大本营的专栏

机器学习的四十三条经验法则——来自谷歌的ML工程最佳实践

本文主要围绕的是谷歌公司(Google)在机器学习方面的经验,旨在为那些具备一定机器学习基础的读者提供最佳的经验法则。文章向读者展现机器学习经验法则的方式,与谷...

3136
来自专栏大数据文摘

大咖|英特尔中国研究院院长宋继强:我们是如何与李宇春打造全球第一支三维人脸特效的音乐视频的

1532
来自专栏量子位

微软发布SynNet:两步打造可迁移学习的机器阅读理解系统

李根 编译整理 量子位 出品 | 公众号 QbitAI 我们先把“机器灭绝人类”的探讨放一放,因为还有很多“看起来简单做起来难”的问题未得到解决,比如阅读理解。...

3675
来自专栏PPV课数据科学社区

写给风控新人大数据挖掘基础知识介绍

对企业来,堆积如山的数据无异于一个巨大的宝库。但是如何利用新一代的计算技术和工具来开采数据库中蕴藏的宝藏呢? 在市场需求和技术基础这两个因素都具备的环境下,数据...

34513

扫码关注云+社区

领取腾讯云代金券