大数据带来的四种思维

近年来大数据技术的快速发展深刻改变了我们的生活、工作和思维方式。大数据研究专家舍恩伯格指出,大数据时代,人们对待数据的思维方式会发生如下三个变化:第一,人们处理的数据从样本数据变成全部数据;第二,由于是全样本数据,人们不得不接受数据的混杂性,而放弃对精确性的追求;第三,人类通过对大数据的处理,放弃对因果关系的渴求,转而关注相关关系。事实上,大数据时代带给人们的思维方式的深刻转变远不止上述三个方面。笔者认为,大数据思维最关键的转变在于从自然思维转向智能思维,使得大数据像具有生命力一样,获得类似于“人脑”的智能,甚至智慧。       总体思维   社会科学研究社会现象的总体特征,以往采样一直是主要数据获取手段,这是人类在无法获得总体数据信息条件下的无奈选择。在大数据时代,人们可以获得与分析更多的数据,甚至是与之相关的所有数据,而不再依赖于采样,从而可以带来更全面的认识,可以更清楚地发现样本无法揭示的细节信息。正如舍恩伯格总结道:“我们总是习惯把统计抽样看作文明得以建立的牢固基石,就如同几何学定理和万有引力定律一样。但是,统计抽样其实只是为了在技术受限的特定时期,解决当时存在的一些特定问题而产生的,其历史不足一百年。如今,技术环境已经有了很大的改善。在大数据时代进行抽样分析就像是在汽车时代骑马一样。在某些特定的情况下,我们依然可以使用样本分析法,但这不再是我们分析数据的主要方式。”也就是说,在大数据时代,随着数据收集、存储、分析技术的突破性发展,我们可以更加方便、快捷、动态地获得研究对象有关的所有数据,而不再因诸多限制不得不采用样本研究方法,相应地,思维方式也应该从样本思维转向总体思维,从而能够更加全面、立体、系统地认识总体状况。       容错思维   在小数据时代,由于收集的样本信息量比较少,所以必须确保记录下来的数据尽量结构化、精确化,否则,分析得出的结论在推及总体上就会“南辕北辙”,因此,就必须十分注重精确思维。然而,在大数据时代,得益于大数据技术的突破,大量的非结构化、异构化的数据能够得到储存和分析,这一方面提升了我们从数据中获取知识和洞见的能力,另一方面也对传统的精确思维造成了挑战。舍恩伯格指出,“执迷于精确性是信息缺乏时代和模拟时代的产物。只有5%的数据是结构化且能适用于传统数据库的。如果不接受混乱,剩下95%的非结构化数据都无法利用,只有接受不精确性,我们才能打开一扇从未涉足的世界的窗户”。也就是说,在大数据时代,思维方式要从精确思维转向容错思维,当拥有海量即时数据时,绝对的精准不再是追求的主要目标,适当忽略微观层面上的精确度,容许一定程度的错误与混杂,反而可以在宏观层面拥有更好的知识和洞察力。       相关思维   在小数据世界中,人们往往执着于现象背后的因果关系,试图通过有限样本数据来剖析其中的内在机理。小数据的另一个缺陷就是有限的样本数据无法反映出事物之间的普遍性的相关关系。而在大数据时代,人们可以通过大数据技术挖掘出事物之间隐蔽的相关关系,获得更多的认知与洞见,运用这些认知与洞见就可以帮助我们捕捉现在和预测未来,而建立在相关关系分析基础上的预测正是大数据的核心议题。通过关注线性的相关关系,以及复杂的非线性相关关系,可以帮助人们看到很多以前不曾注意的联系,还可以掌握以前无法理解的复杂技术和社会动态,相关关系甚至可以超越因果关系,成为我们了解这个世界的更好视角。舍恩伯格指出,大数据的出现让人们放弃了对因果关系的渴求,转而关注相关关系,人们只需知道“是什么”,而不用知道“为什么”。我们不必非得知道事物或现象背后的复杂深层原因,而只需要通过大数据分析获知“是什么”就意义非凡,这会给我们提供非常新颖且有价值的观点、信息和知识。也就是说,在大数据时代,思维方式要从因果思维转向相关思维,努力颠覆千百年来人类形成的传统思维模式和固有偏见,才能更好地分享大数据带来的深刻洞见。       智能思维   不断提高机器的自动化、智能化水平始终是人类社会长期不懈努力的方向。计算机的出现极大地推动了自动控制、人工智能和机器学习等新技术的发展,“机器人”研发也取得了突飞猛进的成果并开始一定应用。应该说,自进入到信息社会以来,人类社会的自动化、智能化水平已得到明显提升,但始终面临瓶颈而无法取得突破性进展,机器的思维方式仍属于线性、简单、物理的自然思维,智能水平仍不尽如人意。但是,大数据时代的到来,可以为提升机器智能带来契机,因为大数据将有效推进机器思维方式由自然思维转向智能思维,这才是大数据思维转变的关键所在、核心内容。众所周知,人脑之所以具有智能、智慧,就在于它能够对周遭的数据信息进行全面收集、逻辑判断和归纳总结,获得有关事物或现象的认识与见解。同样,在大数据时代,随着物联网、云计算、社会计算、可视技术等的突破发展,大数据系统也能够自动地搜索所有相关的数据信息,并进而类似“人脑”一样主动、立体、逻辑地分析数据、做出判断、提供洞见,那么,无疑也就具有了类似人类的智能思维能力和预测未来的能力。“智能、智慧”是大数据时代的显著特征,大数据时代的思维方式也要求从自然思维转向智能思维,不断提升机器或系统的社会计算能力和智能化水平,从而获得具有洞察力和新价值的东西,甚至类似于人类的“智慧”。   舍恩伯格指出,“大数据开启了一个重大的时代转型。就像望远镜让我们感受宇宙,显微镜让我们能够观测到微生物一样,大数据正在改变我们的生活以及理解世界的方式,成为新发明和新服务的源泉,而更多的改变正蓄势待发”。大数据时代将带来深刻的思维转变,大数据不仅将改变每个人的日常生活和工作方式,改变商业组织和社会组织的运行方式,而且将从根本上奠定国家和社会治理的基础数据,彻底改变长期以来国家与社会诸多领域存在的“不可治理”状况,使得国家和社会治理更加透明、有效和智慧。

见学习时报:大数据带来的四种思维

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏PPV课数据科学社区

网络大数据的统计和分析利用

大数据给互联网带来的是空前的信息大爆炸,它不仅改变了互联网的数据应用模式,还将深深影响着人们的生产生活。深处在大数据时代中,人们认识到大数据已经将数据分析的认识...

2915
来自专栏新智元

微软前副总裁:机器学习和人工智能5大关键 | 黑箱不黑

【新智元导读】微软前副总裁S. Somasegar从智能应用开发的角度,总结了2016机器学习和人工智能的5大发展趋势:算法和数据结合的微智能,将能灵活地在应用...

3369
来自专栏大数据文摘

Airbnb数据科学团队进化论:如何由内而外实现数据驱动

2153
来自专栏华章科技

6个用好大数据的秘诀

  就算一个公司拥有再多的数据,也不能代表它就一定会获得商业上的成功。只有真正懂得如何利用大数据,了解到公司利用大数据可以达到什么目标,公司最终才有可能真正成...

631
来自专栏AI科技评论

专访腾讯钟黎:知文团队在智能问答系统方面的探索

对于刚刚成立的腾讯知文团队来说,过去是收获颇丰的一年。虽然成立尚不足一年,但这一团队已在 AAAI、IJCAI、SIGIR、EMNLP、COLING 等顶会上发...

2021
来自专栏人工智能LeadAI

数据部门如何All In AI

通常,大数据部门会花费很大的力气构建数据平台,而这个数据平台除了能让研发,算法,分析师等角色爽一些,从宏观角度很大的节省部门人力成本,提高效率以外,似乎对公司/...

1243
来自专栏企鹅号快讯

AI与机器人有关部分的科技研究领域是什么?

理解自然语言 自然语言处理是人工智能早期研究领域之一。已经编写出能够从内部数据可问答用英语提出问题的程序,这些程序通过阅读文本材料和建立内部数据库,能够把句子从...

3855
来自专栏PPV课数据科学社区

对于打算入门数据分析的菜鸟来说,你想提醒他们什么?

“面对大数据时代趋势和与之相对的高薪,越来越多没有怎么学过计算机和统计学的外门人士也想跃跃欲试踏进数据科学的领域,请问大家伙儿有没有点建议想提醒新人呢。比如一路...

1352
来自专栏人工智能头条

数据科学家、机器学习工程师与普通的软件工程师有什么不同

1563
来自专栏云计算D1net

统计和分析网络大数据的方法

大数据给互联网带来的是空前的信息大爆炸,它不仅改变了互联网的数据应用模式,还将深深影响着人们的生产生活。深处在大数据时代中,人们认识到大数据已经将数据分析的认识...

3677

扫码关注云+社区

领取腾讯云代金券