大数据快速入门系列（01）：大数据时代悄然而至

图 by：wk@杭州-西湖

关于作者：一枚奋青，热衷代码。欢迎关注，交流和指导！

大数据时代悄然而至

遥想我在 2007 年读高中的时候，省吃俭用花了百来块钱买了一个不知名品牌的MP3播放器，容量只有256M。

拿到MP3播放器后真的非常欣喜，因为这个MP3播放器大约能存储百来首普通压缩率的MP3歌曲，而且还可以看小说。挂着耳机走在学校有种酷酷的感觉。

而在这之前，我只有一台步步高随身听，要听新歌只能花钱买磁带，每盘磁带大约12元，只能存储10首歌，而且还没法自己挑选想要听的歌。

到了现在，几百块钱就能买一个 2T 的移动硬盘，大约能存储 1000 部电影，几百万首 Mp3 歌曲。

为了满足市场需求，数据存储设备的容量越来越大，处理数据的速度也变得越来越快。

行业巨头的数据量

下面的资料来自 Facebook 2019 年第三季度报告。

Facebook第三季度的每日活跃用户增加了3600万，每天登录Facebook平台的用户总数达到16亿人次。

与此同时，Facebook的月活跃用户数量增加了3500万，达到24.5亿人次。

而在国内， 2013 年的时候：

• Baidu数据总量已接近 100 PB，网页的数量大是几千亿个，每年更新几十亿个，每天查询次数几十亿次。
• 腾讯 总存储数据量经压缩处理以后在100PB左右
• 阿里巴巴 总体数据量为100PB，每天的活跃数据量已经超过50TB，共有4亿条产品信息和2亿多名注册用户，每天访问超过4000万人次。

那不禁要问，我们周围到底有多少数据？增长的速度有多快？

马丁·希尔伯特 教授，进行了一个比较全面的研究。

2007年，人类大约存储了超过300艾字节的数据。这个量级是什么概念？

一部完整的数字电影可以压缩成 1GB 的文件，而一个艾字节相当于 10 亿 GB，一个泽字节则相当于 1024 艾字节。

这是一个非常庞大的数量。

大数据产业

“大数据”这个人造词汇其实很容易产生不少误解，尤其是这个“大”字，很容易让人感觉，数据量必须大，而且特别大，越大越能形成产业，也越有价值。

做个假设，假如现在给石油产业冠以“大石油”产业的名字，那么会影响石油行业本身对其他行业的服务样态吗？应该不会。

在“大石油”产业里，同样有人从事着这样的工作内容：石油勘探、石油开采、石油运输、石油提炼、石油产品销售等多个细分领域和环节。

试想如果没有石油，也就没有廉价汽车与航空动力，尤其是没有乙烯等重要化工原材料的来源，是否存在塑料这样一种廉价的工业制造材料都很难说，

类比一下“大数据”产业，数据收集、数据传输、数据存储、数据建模、数据分析、数据交易贯穿了大数据产业的完整产业链。

如上图所示，数据由各种软件进行收集，经过网络传输，在云数据中心进行存储，由数据科学家进行建模和加工，最后数据分析得到的是一种知识，是一种人们通过数据洞悉世界的能力。

大数据可以让错综复杂的孤立数据，产生内在联系，从而看到不相关的事情之间更多背后的因果。

这些因果联系的意义会让人们在各个方面能够推测未来趋势，减少试错的机会，减少成本，降低风险，解放劳动力。

我认为这才是大数据产业本身的价值与意义所在。