大数据时代

人类独有的弱点、错觉、错误都是十分必要的，因为这些特性的另一头牵着的是人类的创造力、直觉和天赋。

——《大数据时代》

开始

《大数据时代》中文版，是13年1月份出版的书。至今已近六年了，现在看这本书，它的一些观点，丝毫不觉得过时，仍然有启发意义。

“大数据”概念的源头、大数据的内涵及意义，还有它流行发展的过程和原因、以及大数据的影响等，是我在本书中的一些收获，把它们分享出来。

“大数据”概念的源头

“大数据”这个概念，其实源自天文学和基因学，如今，这个概念几乎应用到了所有人类致力于发展的领域中。因为这些自然学科最先经历信息爆炸的学科。当信息总量达到一定的程度，就导致了信息形态的变化——量变引发质变。

“大数据”并非一个确切的概念。最初，这个概念是指需要处理的信息量过大，已经超出了一般电脑在处理数据时所能使用的内存量，因此工程师们必须改进处理数据的工具。这导致了新的处理技术诞生，例如谷歌以前的MapReduce 和开源Hadoop平台（最初源于雅虎）。这些技术使得人们可以处理的数据大大增加。

技术的革新，“数据”能被更多的处理，又“信息的爆炸”迫使大数据技术被不断改进。

发展和流行

大数据是人们在大规模数据的基础上可以做到的事情，而这些事情在小规模数据的基础上是无法完成的。

天文学，是信息爆炸的起源，也是“大数据”发展的开端。2000年斯隆数字巡天项目启动的时候，位于墨西哥州的望远镜在短短几周内收集到的数据，已经比天文学历史上总共收集的数据还要多。到了2010年，信息档案已经高达1.4*2^42字节。

天文学领域的变化随后在各个领域都在发生。

2003年，人类第一次破译人体基因密码的时候，辛苦工作了十年才完成了三十亿对碱基对的排序。大约十年后，世界范围的基因仪每15分钟就可以完成同样的工作。

在金融领域，美股每天的成交量当时高达70亿，而其中三分之二的交易都是由建立在数学模型和算法之上的计算机程序完成的。

互联网公司更是要被数据淹没。Facebook这家年轻的公司，能处理在该平台上每天产生的无法估量的庞大数据量；还有谷歌旗下的YouTubed等，从科学研究到医疗保险，从银行业奥互联网，各个不同领域都在讲述着一个类似的故事，那就是爆发式的增长的数据量。

这种增长就意味着，量变导致质变。，一旦数据量达到一定的规模，我们就可以做很多在小数据量的基础上无法的事情。“大数据”的出现和发展的正是来源于此，它的科学价值和社会价值也正是体现在这里。一方面，对大数据的掌握程度可以转化为经济价值的来源。另一方面，大数据已经撼动了世界的方方面面，从商业科技到医疗、政府、教育、经济、人文以及社会的其他各个领域。

大数据时代的变革和趋势

大数据是人们获得新的认知、创造新价值的源泉，大数据还是改变市场、组织结构，以及政府与公民关系的方法。

本书作者，认为大数据时代要关注的三大变革是，处理思维理念的思维变革、挖掘数据价值的商业变革、面对数据风险的管理变革，个人认为其中的思维变革更重要。真正的变革并不在于分析数据的机器，而在于数据本身和我们如何运用数据，特别是人们关于如何运用数据的理念，书中提到了三点:

更多不是随机样本，而是全体数据；

复杂不是精准性，而是混杂性；

更好不是因果关系，而是相关关系；

面对新领域和新概念的态度

序言中的一段话，提到关于面对新领域和新概念的态度，我觉得颇有感触：

希望《大数据时代》给与各位的是一些实实在在的知识和思考，并且唤起各位安静思索相关问题的心境。大数据是一个很重要的概念，代表了很重要的趋势，但我不希望它成为一种放之四海而皆准的万能概念——因为越是万能的，就越是空洞的！

人类学家客利福德。吉尔兹在其著作《文化的解释》中曾给出了一个朴素而冷静的劝说：‘努力在可以应用的地方应用它、扩展它；在不能应用、拓展它的地方，就停下来。’我想，这应该是所有人面对一个新领域或新概念是应有得态度。

—end—