大数据的陷阱

大数据管理通过大量数据采矿,找出潜在的变量和它们之间的因果联系,这样企业可以有针对性地生产和营销。相比之下,小数据泛指零星的弱信号。它们往往被当作没有规范、似乎随机的偏差或噪音。被过滤和忽视是小数据的命运,原因是人们没有现成的概念去定义和解释它们。可是,没有小数据,大数据管理会充满陷阱。

  小数据为主,大数据为仆,这是数据管理的正道。

  大数据的陷阱

  春节就要到了。假如你是一位出车千次无事故的好司机,恰好在朋友家喝了点酒,警察也过年下班了,于是你坚持自己开车回家,盘算着出问题的概率也不过千分之一吧。如果这样算,你就犯了一个取样错误,因为那一千次出车,你没喝酒,它们不能和这次混在一起计算。这也是大数据“采矿”常犯的错。

  从1967年第一届美国超级碗杯橄榄球赛到1997年第三十一届,只要NFL联赛出线队赢,当年的股票就大涨14%以上,AFL联赛出线队赢,则至少大跌10%。如果你按照这个指标来买卖股票,就要小心了!1998年,丹佛野马队(AFL)赢,当年股市大涨28%;2008年纽约巨人队(NFL)赢,股市不仅大跌35%,还引发次贷金融危机。

  只要有超大样本和超多变量,我们都可能找到无厘头式的相关性。它完全符合统计方法的严格要求,但二者之间并没有因果关系。美国政府每年公布4.5万类经济数据。如果你要找失业率和利率受什么变量影响,你可以罗列10亿个假设。我自己的研究经验也显示,只要你反复尝试不同的模型,上千次后,你一定可以找到统计学意义上成立的相关性。把相关性当作因果关系,这是大数据采矿的另一个陷阱。

  我们说,三尺深的水池能淹死人,因为三尺只是平均值。忽略极值,采用平均值,它是大数据采矿第三个常见的陷阱。

  博弈论创始人之一,诺伊曼(John von Neumann)曾经戏言:有四个参数,我能画头大象,再加一个,我让大象的鼻子竖起来!大数据“采矿”可能给出新颖的相关性。但是,脱离了问题的情境,它不但不能保证因果关系,还可能误导决策。

小数据里藏着金钥匙

  巴恩斯利(Roger Barnsley)带他的孩子去我教书的莱桥市参加比赛时发现,摩羯座、水瓶座、双鱼座的孩子天生就是打冰球的,否则怎么会双方队员的生日大多在1月、2月和3月?带着心理学家的好奇,他研究了加拿大成人队的队员生日,发现同样的规律。不过,巴恩斯利还没依赖大数据到迷信的程度。

  深入调查后他发现,加拿大少年队划分组别以1月1日为界。因此,在同一年龄组,那些1~3月出生的孩子自然有生理发育上的优势。因为是层层优选、优训,有起点优势的孩子就可能不断成长,主导每个阶段的冰球队伍。只有明白“年龄划分日”这个小数据,奇异的现象才有科学的解释。

  罗列大量事例,在《偏差》中,格莱德威尔(Malcolm Gladwell)证明小数据的关键解码作用。

  小细节解锁大问题。类似的小数据决定作用出现在不同的现象中。依据大数据,旧金山地区卫生部门根据同性恋人群肝病发病率上升预计艾滋病例也会上升,但这两种疾病流行正相关的预测失败。深入调查发现,同性恋对艾滋病越来越持平常心。他们利用新的社交网络,主动张贴自己的情况,避免交叉感染。这次,又是关于行为和动机的小数据解释了大数据看不到的规律。

小数据这把金钥匙难找,因为它们基本上是弱信号,出现的频率低,往往埋没在偏差值中,容易被忽视。同样难的是,它们过去没有规律性地出现过,人们不熟悉。对不熟悉的现象,人们心理上错把它们当作不大可能的现象。因此,决策时,人们容易把弱信号当作背景噪音过滤掉了。例如,假如恐怖分子只学开飞机,不学降落这个弱信号被关注,美国反恐历史可能要重写。

  如何正确使用小数据?胡巴德(Douglas Hubbard)建议三种方法:

1)不求完美,只求不断接近。古希腊人俄如多斯(Eratosthenes)利用两地中午日光正射和斜射的角度与距离估算出第一个地球周长。误差很大,但那是一个跨越式的认知进步。

  2)找“垫脚石”知识,用类比法提高认识。物理学家费米问学生,芝加哥城里有多少调琴师?他教学生学会从人口数、家庭数和拥有钢琴的家庭比例估算开始,推演到钢琴数量和调琴师大约的比例,再得出调琴师的估值。要点在于不囿于数据限制,学会用已知代换无知,推演估算值。

 3)不要简单化前提条件,但要力求简单模式。9岁的罗萨(Emily Rosa)和她妈妈一起看电视介绍流行的“气场疗法”。罗萨把测试气场当作学校的一个科学项目。用两块遮挡纸板、几个直接问题,她采访和测试了29位气功理疗师,证明气场至多只是心理作用。罗萨的简洁实验设计被美国医学杂志(JAMA)刊载。她也成为杂志最年轻的作者。

求小步完善、类比借鉴和从简单模型开始,这三步也是对“贝尔斯定理”(Bayes Theorem)最好的运用。有条件概率分布的“贝尔斯定理”是掌握小数据的核心。

  主与仆

  关于复杂系统,美国的圣塔菲研究所罗列三个典型特征:多变量、相互作用,并同时发生。据此,天气预报是最复杂的数据管理了。

  1916年,德国人理查森(Lewis Fry Richardson)尝试着把大数据化小,把整个德国的天气分割成纵横交错的小矩阵。这样每个格子里的天气对周边的影响就能简化了解。层层推进,他试图得出更靠谱的天气预测。理查森没有成功,因为当时的计算力不足。

  到1950年,诺尔曼将电脑计算和理查森的方法整合在一起。结果,我们有了越来越可靠的天气预报。

  理查森的小数据价值在于他对气候现象深刻的理解,并提炼出关键要素。诺尔曼的大数据贡献在于精确运算关键要素的动态运行形势和方向。二者结合,我们才有对气候的预报能力。

  只要整合大、小数据管理的要点和优点,我们就能逐渐完善认知模型,辨别信号和噪音。就像统计学家博可斯(George Box)所言:所有的模型都是错的,但有些仍有用。

作者:鲍勇剑(加拿大莱桥大学管理学院副教授,复旦大学管理学院EMBA特聘教授)

摘自:第一财经日报

原文发布于微信公众号 - 大数据文摘(BigDataDigest)

原文发表时间:2014-01-17

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏PPV课数据科学社区

【数据分析】EMC杯开放数据比赛 – 金刚队作品

今天为大家带来的优秀作品赏析,是来自交大的“葫芦娃大战变形金刚”队的“小康的吃路历程”。金刚队成员:康世勇、沈家齐、黄鈃灵、焦天翼、吴嘉韵。 饮食特征: 横坐...

3268
来自专栏华章科技

史上最烧脑物理学科普,看完瞬间涨姿势!

导读:这是一部壮丽的物理史诗,这是一串光耀后世的姓名。他们是:牛顿,高斯,黎曼,麦克斯韦尔,爱因斯坦,杨振宁,拉马努金,霍金,维藤……那么,这些智慧的头脑到底有...

1025
来自专栏大数据文摘

我们文本分析了贾跃亭2017年全部公开信,发现他近期喜欢用“责任”“致歉”

1342
来自专栏奇点大数据

数据科学家节选(2)

【节选自即将由电子工业出版社出版的《数据科学家养成手册》第二章】 科学之科 在中国古汉语体系中多为单字词,所以大家想想也能猜得出“科学”一词其实并非中国所发明。...

3578
来自专栏新智元

IJCAI最佳论文重磅出炉!中国人论文占46%,华人一作近2/3

【新智元导读】IJCAI最佳论文公布!本届会议华人表现依旧抢眼,中国学者获多篇Distinguished Paper奖,中国人论文46%,华人一作论文占总接收论...

1252
来自专栏数据科学与人工智能

【数据科学家】当今世界最牛的25位顶尖大数据科学家

引言 在大数据技术飞速发展的今天,谁才是我们大数据科研与工业界中最有威望的科学家呢?下面我们来进行梳理,共罗列了25位当今世界,无论是在学术与工业界都产生巨大影...

4915
来自专栏AI科技大本营的专栏

龙妈也会死?《权力的游戏》 AI 算法预测丹妮女王危在旦夕

[1501552698539_9817_1501552698839.jpg] “凡人皆有一死。”当你进入权力的游戏,成不了赢家,就只有死路一条,马丁大神不会给你...

6788
来自专栏大数据文摘

[译]贝叶斯生存分析之“权利的游戏”

2886
来自专栏新智元

又输了!中国五位大神吊打,Open AI挥别Dota2赛场!

昨天第一场比赛输了之后,在今天Ti8表演赛中,OpenAI Five战队再次与人类交锋。

741
来自专栏钱塘大数据

史上最烧脑物理学科普,看完瞬间涨姿势!

这是一部壮丽的物理史诗,这是一串光耀后世的姓名。他们是:牛顿,高斯,黎曼,麦克斯韦尔,爱因斯坦,杨振宁,拉马努金,霍金,维藤……(且慢,最近十年,我们只能在娱乐...

2362

扫码关注云+社区

领取腾讯云代金券