从IT到DT时代，变革在悄然发生

从1936年的图灵机的发明到1945年冯.诺依曼机的出现，这些都是计算机发展的基石，甚至于往后各种大型计算机、小型计算机的诞生，严格意义上来说，这都不是IT。真正IT技术的开始应该是万维网的发明，这标志着信息进入了互联的时代。

国内互联网技术的发展比国外稍微的晚了那么几年，但其发展势头远不是其他国家能比的，97年的时候只有60万网民，而现在已经超过了6亿，其增长速度可见一斑。

可以说，如今互联网已经影响到了人们衣食住行甚至是政务等方方面面。

这是一个IT时代！

对于这个定论，或许大部分人都不会反对。但是有一天，有人突然对你说：人类正在从IT时代步入到DT时代。这并不突然，这一切的一切都是那么有预见性！

DT时代来临--变革在悄然发生

DT一词，翻译过来即数据科技。可以说，这并不是一个新词，但它真正引起我注意的是阿里研究院最近写的一本书《互联网+:从IT到DT》。

然而就在几个月前，有人在腾讯科技上发表了一篇文章《数据科学家可能成为2015年最热门职业》，我们暂且不去评论这篇文章的观点是否正确，但是它已经给出了一个信息—数据，已经引起了人们的“警惕”！

如今，在各大招聘网站，我们可以随意的搜索一下“数据挖掘”，各大公司企业的针对于这个岗位的需求如同雨后春笋般的出现。

同样，通过各个招聘网站平台等，我们可以发现不断有新的职位名称被创新出来，如数据工程师、数据分析工程师、Hadoop工程师等等。

我们打开了一个招聘网站，呈现在我们面前的是一个个恰巧是我们想要投递的职位；我们打开一个电影，侧栏显示的是一个个相关的电影，要么恰巧是同类型的，要么恰巧是同一个演员的电影；我们在网上购物，底栏显示的恰巧是你需要的东西。

不止如此，我们看文章、搜索问题、网上预约旅行甚至是看新闻，总是会在一些不经意的角落里发现我们刚好需要的信息。好巧！

这并不是巧合！个性化定制已经体现在我们生活中的方方面面。我们暂且不去考虑这个个性到底有多个性，不可否认的是，与传统的信息展现来对比，它的确是起作用了。

是的，我们猛然发现：人，作为一个在互联网上主动寻求信息的主体，已经开始变得“被动”起来了。

曾几何时，信息已经变得如此“主动”。但是，这一切让我们感到又是那么自然。

究其所因，其背后的数据是“罪魁祸首”。是的，数据把我们“出卖”了！

数据竟然已经变得如此有用，数据的影响力竟然强大如斯！这一切的变化是那么的顺其自然，是那么的悄无声息。

或许，真如马云所言：人类正从IT时代走向DT时代！

在数据处理需求急剧上升的今天，是什么在支撑着数据的变现？

DT时代的骨骼--大数据处理平台的衍变

是的，正是数据处理平台，或者换种说法：一套完整的数据处理流程。

从数据的采集、清洗、流式实时计算、数据落地。在大多数时候，这一套完整的流程过后(或许会没有流式实时计算)，这才真正进入数据的价值挖掘阶段，包括了数据的离线计算，通过一系列的建模挖掘其隐含的商业价值。

当然，在大数据遍地的今天，数据的收集也好、处理也好、挖掘也好，我们想必也要加一个“大”字了。

那么，在DT时代来临的今天，能够支撑这一流程得以流通的正是数据平台，或者说是大数据处理平台。

它将是支撑DT时代来临的骨骼！

当然，大数据处理平台也不是一开始存在的，它也必然经历着一系列的衍变。才形成今天我们看到的，或这或那的数据平台形式。

(1)大数据处理平台的终极形态--深度挖掘

数据已经完美流通，包括了完整的大规模数据采集系统、数据预处理清洗系统、数据流式实时计算系统、大规模数据存储系统、大规模离线计算系统；拥有全面的数据监控调度系统，能够方便地低成本地进行数据流程监控、调度，实时掌握数据的动态变化；拥有完善符合自身业务需求的机器学习算法库，数据挖掘层面，已经进入了数据深层挖掘阶段。

其中以BAT为代表。在国内，BAT一向是技术的引领者，因此他们在数据价值挖掘这一方面，也确实做到了领先地步。

(2)其次是大数据平台完善，处于数据浅层挖掘状态

同样，这种形态的企业公司，数据平台的数据已经完全打通，他们已经在开始尝试挖掘数据的潜在价值，意图达到数据的变现。

当然，或许是由于技术积累的问题，或许是人力物力的原因，他们并没有能力做深一层的探索、挖掘，但是他们却一直在努力。他们缺少是一套完善的，适合自己的，又能够方便使用的数据挖掘库。

处于这种形态的公司也不少，诸如CSDN、去哪儿、艺龙等等，他们在个性化的道路上孜孜不倦地探索着。

(3)数据流通，处于数据统计分析阶段

这种形态的数据中心，大规模数据处理平台已经基本搭建，数据已经能够流通，处于大规模数据的统计分析阶段。

这种类型的公司，他们更多倾向于对数据仓库的建立，对大批量数据进行存储、统计并且分析数据的走势以及变化。所以，就Hadoop生态来说，他们可能更倾向于使用Hive之类的技术或者工具。

处于这种形态的公司是占大多数的，典型如刚组建大数据部门的短短一年时间的360，当然还有很多很多类似的公司，数不胜数。

他们希望摸清楚自己到底掌握了什么样的数据，这些数据到底是怎么变化的，通过对这些数据的了解以及掌控，他们才能更好做出更合理的商业决策。

在不久的将来，在他们已经充分掌握了数据的规律，他们也必然会向数据潜在价值挖掘方向努力。

(4)数据整合，平台搭建阶段

这种形态下，数据尚未流通，整个体系尚未搭建起来。

或者说，很多企业公司，在以往的情况下，各个部门产品，其数据都是分开维护的。需要维护多份数据，成本高；数据的利用率低，数据不连通。

他们意图将数据进行整合，有一套完整的收集、清洗以及落地的流程，因此，他们尤其缺少懂得数据收集、数据清晰以及数据大规模落地的人才。或者，换个更通俗的说法，他们缺少懂得hadoop生态平台的人。

这种公司也不少，诸如金山的西山居，智能手机界的黑马小米等。

(5)数据量不够，但然仍意图搭建一个大数据处理平台

这一部分公司大部分都是小公司，在数据量层面上，他们并没有很急切的需求，去搭建起一套完善的数据处理平台。

或许是受大数据潮流影响，但是，从长远的角度来看，随着数据量的增长，这也必然是一个趋势。

所以，他们往往也会花费少量的人力物力，在这一方面上进行技术预研，或者搭建起一个简单的小规模数据处理平台。

其实，简单来看，这是大数据处理平台的五种不同形态，但这又何尝不是大数据处理平台的一个衍变过程呢？！

在DT时代来临的今天，你是否清楚自己处于一个什么的位置，将来又将向何处发展变迁？

只有将骨骼搭建起来了，我们才能、才有资格去谈论如何挖掘数据的潜在价值。

我们不止需要骨骼来支撑DT这一体系，更需要源源不断的血液来激发它的活力。

DT时代的血液--数据从何处而来

是的，前面我们说了很多很多，但一个关键的问题不可忽视：数据从何处而来？

如果说大数据处理平台是支撑DT的骨骼，那么数据就是DT的血液。那么如何造血就是大家所关注的问题了。

(1)企业的业务数据

数据最直接来源就是各个企业公司自己产生的业务数据，或许是某些公司拥有很强的预见性，多年前就已经开始收集自己的数据，也或许是他的无意之举。

但不管怎么样，他把自己的历史数据给保留了下来。当然，有部分公司，本身产生数据的速度就足够快，数据量也足够多，他们就不必担心这个问题了。

(2)互联网的隐藏数据

前不久，有一个朋友在群里问了一个比较复杂问题，是关于数据抓取解析方面的。

可能是他问的问题太深奥，也可能是恰巧群里大牛都不在，总之就是没有人解决。

有人就问了：哥们，你研究这个这么深干吗？他回答了一句：抓取数据啊，难道你们研究处理的数据不是从网上抓取的吗？

这句话让我猛然惊醒：有人已经开始向互联网这座公共金山动手了。

十几年的底蕴，隐藏了多少数据财富？在DT时代来临的今天，必定会越来越多的人去挖掘它的价值，只不过这需要一定的技术、一定手段而已。

(3)移动互联网数据的暴涨

相对于互联网，移动互联网的发展历史并不长，但他的发展可谓是日新月异。

如今，随着智能手机的普及，3G、4G网络的推广，移动互联网产生的数据正在处于爆炸似得增长。

同样，这是一座新的数据金山，需要我们去开采它。

(4)传统以及线下数据的接入整合

随着总理的一句“互联网+”，传统行业开始纷纷与互联网进行结合，这带来的最直接影响是：线下数据的接入与整合。

或许有人会说：传统行业能有多少数据。可千万不能小看传统行业的数据，毕竟他们有着近乎数十年，远超于互联网的历史，其累计的数据量亦不可小看。

随着“互联网+”的进一步发展，线下接入的数据也将是DT时代的血液之一。

(5)网连万物--万物都可以产生数据

说道物联网，其实很多年前就有人说他一定会火起来，但是之前却一直没有火起来。究其因，不在乎两个：一是移动网络成本过高；二是终端感应技术尚未发展到这个阶段。

但如今不一样了，随着3G、4G网络的普及，移动网络成本大幅度下降；智能终端感应技术的快速发展也让物联网这一技术方向不再是概念。

我们可以看到，众多互联网公司已经开始纷纷布局智能领域了，包括智能家居、智能交通、智慧城市、智能办公等等。

在DT时代，感应终端也将是一个巨大的数据产生源，一个DT时代造血的源头。

在DT时代即将来临的今天，不止是数据处理以及数据获取这两个方面值得我们反思，还有其他的方方面面需要我们去思考。

通过不断的反思，不断的改进，我们做好最充分的准备，迎接DT时代的到来！

来源：博客虫