大数据“近因偏差”的烦恼

全世界90%的数据都是最近几年生成的,人们对这个结论可能已经耳熟能详。尽管我能找到的这个说法的最早出处是在2013年5月,但是,这种趋势却始终未曾发生变化。事实上,过去30年间,每隔两年,全球总数据量就会增长大约10倍——这让计算机行业的摩尔定律相形见绌。

信息爆炸所带来的问题之一在于,即便和不久之前相比,当前的信息量规模都会大到不可思议的程度。假如有一本信息影集代表了你从婴儿到成年的前18年人生,并且照片数量的增长速度和全球数据量保持一致,如果头两年你只有两张照片,那么从6岁到8岁的两年间你就会有两千张照片,从10岁到12岁有20万张,从16岁到18岁则有惊人的2亿张,这意味着在16-18岁期间你每秒钟就会拍3张照片。

当你回过头去以更长远的眼光来看待事物时,你会发现,你有太多太多近期的的事件,而较早的数据和事件是那么的稀少。

当然,全球数据不能这样简单类比。全球数据增长的主要原因在于更多的人口产生了更多信息源,以及更大的和更复杂详细的信息结构。然而,如果试图回顾或分析与上文所述影集类似的历史记录,你会发现一个相同点,越遥远的历史所留下的信息和记录就会越稀少。怎么会发生这种事情呢?

这就是目前大数据采集分析中存在的一项弊端。无论你在哪一个时间点开始回顾历史,都会遇到同一个麻烦:近期数据的数量远远超过远期历史数据,由此,这个分析系统会过度重视短期趋势而忽略长期趋势,从而受到短视的困扰。

Image copyrightGETTYImage caption大数据分析存在的问题之一在于,即便和不久之前相比,当前的信息量规模都会大到不可思议的程度。(图片来源: Getty)

为了理解这个问题的重要性,需要考虑社会科学中有关“近因偏差”(recency bias,又称近因效应)的研究发现。近因偏差是指:人们在判断事物发展趋势时,会认为未来事件将会和近期体验高度类似。这可以说是某种“可利用性法则”(availability heuristic)——不恰当地以最容易认知的信息来作为思考的基础。这还是一种普遍的心理学特征。

举例来说,如果在你居住的地方,过去几年的夏季气温都很低,那么你可能会认为夏季气候正在变得更冷——或者说你当地的气候正在变冷。但是,你不应该只根据少量数据分析长期趋势。你需要有一个长远视角,才能认识真正有意义的气候趋势。短时期内,最好不进行任何猜测。不过,我们之中又有谁能真正做到这点呢?

短期分析不仅不扎实、毫无益处,还会产生误导

现实生活中大部分复杂事物的现象正是如此:股票市场、经济发展、企业的成功与失败、战争与和平、国家关系、帝国的崛起和衰落等等。短期分析不仅不扎实、毫无益处,还会产生误导。回头看看,就在2009年全球金融危机袭来的时候,还有那么多经济学家信誓旦旦地宣称这一事件不会发生。认为根据那种短期时间尺度的数据就能做出扎实的预测,这种想法本身就有很大的问题。

我们还应当记住,在决定哪些数据该保存还是删除的时候,新颖性往往会成为主要的考虑因素。旧的淘汰,新的进来,在这个搜索算法本质上偏向于新鲜事物的数字世界中,这是一个明显的趋势。从最高法院的裁决,到所有社交媒体服务平台,我们到处都可以看到已经失效的网址。我们身边的几乎所有技术都偏向于当前信息,人也一样:大多数人已经习惯用个四五年就把原本光鲜亮丽的设备丢掉。

怎么办?这个问题已经不仅仅在于如何更好保存旧数据的范畴——尽管这并不是个坏主意,想想我们现在还有什么东西能流行保留10年之久。更重要的是,这个问题关系到确定哪些东西值得优先保存,以及如何在知识的名义下,选择哪些信息最有意义

Image copyrightGETTYImage caption我们需要更明智地决定首先保存哪些数据。(图片来源: Getty Images)

或许我们需要的是我所称之为的“智能性遗忘”:应该让我们的工具更多地放弃最近的信息,从而在长远视角上保持更高水平的连续性。这有点像是以数学方法重新整理一本影集。什么时候两百万张照片的价值比两千张照片更低?什么时候较大的样本量覆盖范围反而较小?哪些问题的重要性较低?哪个细节水平能提供有用的质疑证据,而不是虚假的信心?

许多数据集是无法缩减的,只有在完整的情况下才最宝贵,比如,基因序列、人口统计学数据、地理和物理学的原始观测数据等等。数据的科学性越弱,数据规模与数据的质量就越可能呈现负相关,此时时间本身就成为更加重要的过滤工具。我们如果不仔细选择过去保存下来的有价值、有意义的事物,它们就会被迅速膨胀的信息洪流悄无声息地吞没掉。

能否考察长期历史遗留下来的数据取决于考察者是否有足够的时间和注意力。今天的企业、个人和政府机构都能够获得比以往(甚至就在几年前)大许多数量级的数据,但是董事会成员、首席执行官、政府官员等决策者却没有足够时间和注意力来应对这些数据。

今天的决策者们有越来越高效的工具帮助他们就所持有的数据提出问题——但你只应该分析有意义的数据。单纯的数量累积不是一个好的对策。在一个数据量越来越大的时代,如何选择主动放弃哪些事情,与选择做什么事情一样重要。

本文来自企鹅号 - 涨知识学院媒体

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI科技大本营的专栏

AI一分钟 | 谷歌发布AI使用七原则;中国启动智能高铁自动驾驶试验,时速350公里

6 月 8 日消息,据国外媒体报道,谷歌 CEO Sundar Pichai 周四发布了一篇文章,阐述了谷歌人工智能研究方面的原则(principles),称不...

1065
来自专栏企鹅号快讯

如果有人问你什么是大数据?不妨说说这10个典型的大数据案例

在听Gartner的分析师Doug Laney用55分钟讲述55个大数据应用案例之前,你可能对于大数据是否落地还心存疑虑。Laney的演讲如同莎士比亚的全集一样...

17810
来自专栏大数据文摘

谷歌的野心,详解26字母代表项目

2605
来自专栏互联网数据官iCDO

如果有人问你什么是大数据?不妨说说这10个典型的大数据案例

在听Gartner的分析师Doug Laney用55分钟讲述55个大数据应用案例之前,你可能对于大数据是否落地还心存疑虑。Laney的演讲如同莎士比亚的全集一样...

2665
来自专栏腾讯研究院的专栏

大数据成NBA幕后指挥棒 统计渗透到方方面面

勇士队与骑士队的总决赛第五战刚刚结束,网上马上出现一组数据:在骑士队本场得到的91分里,70分与詹姆斯有关。如今的NBA,大数据已经扩展到赛场的每一个角落,...

1835
来自专栏新智元

【AI快报】Facebook将推出实时翻译 | IBM与英伟达合作GPU加入云服务

Facebook Facebook收购VR音效公司 ? Facebook收购公司Two Big Ears,给其VR子公司Oculus进一步铺路。收购之后,Fac...

2356
来自专栏光变

麦思博思考问题之道

经理人是否高效,取决于他的思考方式。从麦肯锡的思维方式,你可以学会用更积极有效的方法来解决问题,摘要…

632
来自专栏CSDN技术头条

技术人不会学习,35岁必然要焦虑

最近大家都在讨论某打车软件的外卖业务上线24小时就紧急下线的问题, 官方给出的解释是”短期订单暴涨超出预期”,业内人士分析,是之前该公司在打车业务上积累的智能调...

892
来自专栏Spark学习技巧

一个人是否靠谱,闭环很重要(有深度)

而文章认为,一个人靠不靠谱,其实就看这三点:“凡事有交代,件件有着落,事事有回音。”

1013
来自专栏PPV课数据科学社区

【案例】如有人问你什么是大数据?不妨说说这10个典型的大数据案例

在听Gartner的分析师Doug Laney用55分钟讲述55个大数据应用案例之前,你可能对于大数据是否落地还心存疑虑。Laney的演讲如同莎士比亚的全集一样...

2597

扫码关注云+社区