相关性和因果性:周扒皮原来是大数据应用的先驱者

作者 | 纪思亮 本文最终解释权归作者所有

在大数据时代,相关关系似乎替代了因果关系。然而世界具有复杂性,大数据时代世界似乎被数据统治,是混沌的。

相关关系是指当一个数据变化时,另一个数据也可能随之变化,不论是这两个数据也没有必然联系。相关关系有可能是正相关也有可能是负相关,有可能是强相关也有可能是弱相关。

因果关系是指当一个作为原因的数据变化时,另一个作为结果的数据在一定程度发生变化,这两个数据存在着必然联系。因果关系可能是线性关系,也可能是非线性关系。

大数据来了,相关性的凸显,使我们看到了以前不曾注意的联系,掌握了以前很难理解的复杂系统。通过相关性的研究,可以帮助企业赚钱,帮助政府决策就够了,不要讲究“为什么”,至于因果关系就让科学家们慢慢琢磨去吧。

相关性倒不是什么新鲜话题,于是乎我想起了地主周扒皮。上世纪四十年代,中国农村某地有个地主叫周扒皮,他雇佣了几个长工为他种地,周扒皮不可能懂得相关关系和因果关系,但他很狡猾,他悟出了两个现象之间的联系,公鸡一叫,太阳不久就会升起。旧时中国农民有个习惯,日出而作,日落而息。于是,每天半夜他到鸡窝旁学鸡叫,引得鸡窝里的公鸡一起打鸣,然后周扒皮到长工屋大喊:鸡都叫了,快下地干活。

显然,公鸡叫,太阳升这两个事儿之间并没有什么因果关系,他们之间仅仅是相关关系,因为不能认为公鸡叫是太阳升的原因,太阳升是公鸡叫的结果。如果把天下的公鸡都杀了,太阳从此不升起来了,因果关系才能得到验证。但周扒皮利用相关关系延长了长工的劳动时间,达到了剥削的目的。

古时候没有天气预报,人们往往根据蛙鸣预测有没有雨,但雨水不应是蛤蟆叫出来的。地震前动物往往有异常表现,但地震不应是阿猫阿狗闹出来的。但是了解这些现象之间的相关关系往往有用处。

有些学者用世界的复杂性解释大数据复杂性,认为这个世界是混乱的,世界上大多数发生的事是碰巧出现的,完全不受定律和因果性的支配,但这个世界又是数据的,混乱性只有使用大数据才能进行说明。这些观点又用蝴蝶效应进行了说明。据说地球一端更多一只蝴蝶煽动了一下翅膀能引起地球另一端一场暴风雨,并将这一现象引人复杂性科学,是指在一个动力系统中,初始条件下微小的变化能带动整个系统长期巨大的连锁反映。我们不怀疑复杂适应系统理论的科学性,但实在无法验证中国哪一场暴风雨是由美国的哪一只蝴蝶的翅膀引发的,更无法分析其相关性。

科学研究的现象都是可重复的,重复考研在实验室中复制,也可以在现实世界中产生。蝴蝶翅膀和暴风雨的关系显然不能在实验室中实验,但我们也无法在现实世界中取得它们相关性的数据。我奶奶和我讲过她父亲的故事,有一天我奶奶的父亲在祖坟里看到了一只狐狸,第二年我奶奶的父亲便娶了一个美如妖的媳妇,就是我奶奶的母亲,但这种事情以后再也没有发生过,不能重复。千年一现的事物只能是传说,不是科学研究的对象。实验室中的实验结果每一次都会有差异,我们通过统计平均,在变化中研究规律,因而千年不变的事物也不是科学研究的对象。现实世界产生的大数据在一定条件下是可以重复和多变的,给科学研究提供了基本条件,也对科学研究提出了新的挑战。

几千年来,探讨事物之间的因果关系是理、工、农、医、文几乎所有科学研究的重要目的。相关性和因果性是哲学问题,哲学家、数学家、统计学家、物理学家、医学家、经济学家大都将寻找自身研究领域中的因果关系当做一生的追求。古希腊哲学家说:“我宁肯找到一个因果关系的说明,不愿获得一个波斯王位。”千百年,虽然哲学家思辩方式已深入人心,老百姓还是相信事出有因,宗教人士宣传因果报应。

在研究相关关系和因果关系方面,统计学做出了巨大贡献。统计学提出了相关系数,通过计算相关系数判断事物之间的相关关系,对相关系数教学统计检验,若通过检验,证明事物之间的相关程度高,便可以进一步做回归分析。在计算相关系数时,首先要通过理论研究和定性分析筛选变量,对有内在联系的数据做相关分析。与大数据思维不同,统计学认为公鸡叫与太阳升、蛙鸣与下雨,它们之间没有内在联系,即无因果关系,属于虚假相关,尽管相关系数可能很高,也没有做回归分析的必要了。

在回归分析中,设xi为自变量,设yi为因变量,统计学的研究几乎穷尽了因果关系的所有可能。对一因一果的现象,可以建立一元回归模型;对多因一果的现象,可以建立多元回归模型;对一因多果的现象,可以建立路径分析等模型;对多因多果的现象,可以建立联立方程等模型。

显然,回归模型比相关系数进了一步,它可以解释数据之间作用机制和作用的大小。但回归模型即使通过了各种统计检验,也可能只在一定程度上说明事物之间的因果关系。模型的自变量不一定是原因,因变量不一定是结果。Xi与yi之间的因果关系是否成立,还要由统计学所应用领域的专家来判断,如经济学家、管理学家、生物学家、医学家等,并大量的实践得到检验。统计模型只能说包含真正因果关系的可能性较大,二真值在哪里?上帝知道。

大数据可理解为大而复杂的数据,具有异母体、噪音累积、虚假相关、内生性、时变性等,我们几乎被数据包围。在这种数据环境下,寻找数据之间因果关系非常困难,也有观点认为在大数据时代,探索因果关系几乎不可能,因而因果关系消失了,相关关系替代了因果关系。但我们也应看到,在大数据环境下,做相关性的研究也非常困难,几十万个样本规模,几十万个维度,甚至更多,怎么计算相关系数?如果不用相关系数,用什么方法?

相关关系是比因果关系更宽泛的概念,事物之间有相关关系不一定存在因果关系,有因果关系必定有相关关系。相关分析是因果分析的基础,因果分析是相关分析的深化。大数据的相关关系不仅没有替代因果关系,反而给因果关系的研究提供了更广泛的发展空间。

医疗大数据、药物研发大数据、基因大数据给精准医疗、药物研究等领域带来一切变革,但仅靠相关关系很难找到病因,无法对症下药,药物的研发也很难针对各种病症,当然也不需要建立起因果模型后再实践。阿司匹林是治疗感冒的药,后来人们发现这种药对预防心脑血管疾病有疗效,经过大量临床,发现阿司匹林对预防心脑血管疾病疗效显著,有相关关系。而后,对阿司匹林进行药理分析,才发现阿司匹林中含有治疗心脑血管疾病的药物成分,建立了因果关系。

那么我们期望大数据引来因果分析的一场革命吧。

原文发布于微信公众号 - 大数据文摘(BigDataDigest)

原文发表时间:2016-12-03

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器人网

壁虎抓手太空清理垃圾,能抓大到370千克的物体

美国斯坦福大学研究人员28日报告说,受壁虎吸附墙壁原理启发,他们研制出一种能够抓住太空漂浮物体的机械抓手,有望用来清理回收威胁日益增大的太空垃圾。这项成果当天发...

2816
来自专栏新智元

1663-2016:人工智能发展时间轴

【新智元导读】从笛卡尔的身心二元论到波普尔《科学发现的逻辑》;从帕斯卡尝试建造机械计算机到ENIAC诞生;从达特茅斯会议召开到AlphaGo击败李世石........

4244
来自专栏吉浦迅科技

GPU运用电流协助找出人脑的庞大记忆容量

下次你忘记约会、放错钥匙或是记不起来某个人的名字,就不能再胡乱编个理由了:一项新的研究指出人脑的记忆容量达到 petabyte 等级,比起过去研究人员认为的数字...

2784
来自专栏大数据文摘

学界 | 30年过去了,当年预测全球变暖的模型为什么没应验?

早在1988年夏天,詹姆斯汉森(James E. Hansen)就曾关于全球变暖发出可怕的警告。然而,今天的地球却只是变暖了那么一点儿。

860
来自专栏机器人网

彭于晏被曝出柜?这个“看相”机器人也许可以确定它是不是谣言

昨天,彭于晏出柜的新闻刷爆了朋友圈。有网络爆料称,彭于晏被国内某金融圈大佬“睡了”,还发了微信的聊天截图,不少所谓的金融圈人士言之凿凿地爆料,还称全北京的金融圈...

3124
来自专栏企鹅号快讯

以假乱真:机器学习是怎么写出圣诞歌的?

日前,数据专家提姆·布什利用机器学习算法写了首圣诞歌词,让古老的圣诞节充满了浓浓的AI 特色。 ? 如何用大数据写出一首圣诞歌曲(来自Lynchpin) AI ...

2085
来自专栏ATYUN订阅号

我怀疑我哥们对我有意思? 不要怕,算法可根据面相测出性取向

一项声称人工智能可以从面部图像中推断性取向的研究在2017年秋天引起了轩然大波。两个主要的LGBTQ(女同性恋者(Lesbians)、男同性恋者(Gays)、双...

3748
来自专栏互联网数据官iCDO

AI算法通过照片识别同性恋准确率超过人类,斯坦福大学研究惹争议

本文转载自机器之心 2016 年,上海交通大学的一篇论文《基于面部图像的自动犯罪概率推断》引起了极大的争议,被贴上了「歧视」的标签。近日,斯坦福大学在《Jour...

2835
来自专栏吉浦迅科技

运用深度学习技术,从医疗扫描结果中找出疾病

“都消失了。”Jeet Samarth Raut 的母亲在进行一次放射线扫描后听到这个好消息。 两周后,另一名医师的检查结果表示是乳癌。当然科技能做到更好的诊断...

4225
来自专栏数据派THU

【独家】关于深度学习,Yann LeCun给大学生的十四条建议

作者:Yann LeCun 翻译:白静 校对:丁楠雅 本文长度为800字,建议阅读2分钟 本文是人工智能大师Yann LeCun在问答平台Quora上对问题“W...

1988

扫码关注云+社区

领取腾讯云代金券