大数据之间的相关关系,证明直觉因果联系是错误的

每个想了解最新大数据资讯的人,都关注了我

文 / 数据君

父母经常告诉孩子,天冷时不戴帽子和手套就会感冒

然而,事实上,感冒和穿戴之间却没有直接的联系

有时,我们在某个餐馆用餐后生病了的话,我们就会自然而然地觉得这是餐馆食物的问题,以后可能就不再去这家餐馆了。

事实上,我们肚子痛也许是因为其他的传染途径,比如和患者握过手之类的。

然而,我们的快速思维模式使我们直接将其归于任何我们能在第一时间想起来的因果关系,因此,这经常导致我们做出错误的决定

与常识相反,经常凭借直觉而来的因果关系并没有帮助我们加深对这个世界的理解。

很多时候,这种认知捷径只是给了我们一种自己已经理解的错觉,但实际上,我们因此完全陷入了理解误区之中。

就像采样是我们无法处理全部数据时的捷径一样,这种找因果关系的方法也是我们大脑用来避免辛苦思考的捷径。

在小数据时代,很难证明由直觉而来的因果联系是错误的

现在,情况不一样了。将来,大数据之间的相关关系,将经常会用来证明直觉的因果联系是错误的。最终也能表明,统计关系也不蕴含多少真实的因果关系。

总之,我们的快速思维模式将会遭受各种各样的现实考验。令人欣喜的是,为了更好地了解世界,我们会因此更加努力地思考。

但是,即使是我们用来发现因果关系的第二种思维方式——慢性思维,也将因为大数据之间的相关关系迎来大的改变。

日常生活中,我们习惯性地用因果关系来考虑事情,所以会认为,因果联系是浅显易寻的。

但事实却并非如此。与相关关系不一样,即使用数学这种比较直接的方式,因果联系也很难被轻易证明

我们也不能用标准的等式将因果关系表达清楚。因此,即使我们慢慢思考,想要发现因果关系也是很困难的。

因为我们已经习惯了信息的匮乏,故此亦习惯了在少量数据的基础上进行推理思考,即使大部分时候很多因素都会削弱特定的因果关系

就拿狂犬疫苗这个例子来说,1885年7月6日,法国化学家路易·巴斯德(LouisPasteur)接诊了一个9岁的小孩约瑟夫·梅斯特(Joseph Meister),他被带有狂犬病毒的狗咬了。

那时,巴斯德刚刚研发出狂犬疫苗,也实验验证过效果了。梅斯特的父母就恳求巴斯德给他们的儿子注射一针。巴斯德做了,梅斯特活了下来。

发布会上,巴斯德因为把一个小男孩从死神手中救出而大受褒奖。但真的是因为他吗?事实证明,一般来说,人被狂犬病狗咬后患上狂犬病的概率只有七分之一。

即使巴斯德的疫苗有效,这也只适用于七分之一的案例中。无论如何,就算没有狂犬疫苗,这个小男孩活下来的概率还是有85%。在这个例子中,大家都认为是注射疫苗救了梅斯特一命。

但这里却有两个因果关系值得商榷

第一个是疫苗和狂犬病毒之间的因果关系,第二个就是被带有狂犬病毒的狗咬和患狂犬病之间的因果关系。

即便是说疫苗能够医好狂犬病,第二个因果关系也只适用于极少数情况。不过,科学家已经克服了用实验来证明因果关系的难题。

实验是通过是否有诱因这两种情况,分别来观察所产生的结果是不是和真实情况相符,如果相符就说明确实存在因果关系。这个衡量假说的验证情况控制得越严格,你就会发现因果关系越有可能是真实存在的。

因此,与相关关系一样,因果关系被完全证实的可能性几乎是没有的,我们只能说,某两者之间很有可能存在因果关系

但两者之间又有不同,证明因果关系的实验要么不切实际,要么违背社会伦理道德。

比方说,我们怎么从5亿词条中找出和流感传播最相关的呢?

我们难道真能为了找出被咬和患病之间的因果关系而置成百上千的病人的生命于不顾吗?因为实验会要求把部分病人当成未被咬的“控制组”成员来对待,但是就算给这些病人打了疫苗,我们又能保证万无一失吗?

而且就算这些实验可以操作,操作成本也非常的昂贵。不像因果关系,证明相关关系的实验耗资少,费时也少。

与之相比,分析相关关系,我们既有数学方法,也有统计学方法,同时,数字工具也能帮我们准确地找出相关关系

相关关系分析本身意义重大,同时它也为研究因果关系奠定了基础。通过找出可能相关的事物,我们可以在此基础上进行进一步的因果关系分析,如果存在因果关系的话,我们再进一步找出原因。这种便捷的机制通过严格的实验降低了因果分析的成本。

我们也可以从相互联系中找到一些重要的变量,这些变量可以用到验证因果关系的实验中去。

可是,我们必须非常认真。相关关系很有用,不仅仅是因为它能为我们提供新的视角,而且提供的视角都很清晰。

而我们一旦把因果关系考虑进来,这些视角就有可能被蒙蔽掉。

主题 |思维视角

插图 | 网络来源

作 者 介 绍

数据君:)

了解大数据,关注大数据观察

部分图文来自网络,侵权则删

我想给你一个理由 继续面对这操蛋的生活

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20181030B0YBXS00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。

扫码关注云+社区

领取腾讯云代金券