前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >从马克思观点来看数据中台与数据平台的不同,这次清楚多了

从马克思观点来看数据中台与数据平台的不同,这次清楚多了

作者头像
木东居士
发布2020-03-05 11:27:24
9000
发布2020-03-05 11:27:24
举报
就在前几年,人们在说"数据平台"四个字的时候,都是信手拈来,不用去想这四个字到底是什么含义,也不会产生什么思维上的混乱。

这种思想上的默契,在2019年被彻底打破了。来搅局的,正是耳熟能详、方兴未艾的“数据中台”。

于是,朋友们就开始思考中台到底比平台先进在哪里,一定要给出个说法,目前有两个常见的观点:

  1. 万能分层轮:数据中台在数据平台的上一层,数据平台提供基础设施,数据中台与业务对接。
  2. 阴谋论:数据中台是新瓶装旧酒,数据中台就是穿了马甲的数据平台。正如,数据挖掘、机器学习、AI的这三兄弟,其实都是一码事。

这些解释还算很差强人意,但听半天却也没有什么心得和收获。有的解释变成了名次的循环解释和文字游戏,更有甚者,开始从"平"字和“中”字上做文章,一定要找出点差别来,这就不多说了...

1. 从历史阶段来看大数据发展史

我们不妨把眼光放的更长远一些,数据仓库、数据平台、数据中台的迭次出现,本身就形成了一部大数据发展史。

数据仓库是90年代在BI(商业智能)的时代背景下的一个产物,主要目标就是为了支持数据分析,因此报表或OLAP工具都是BI/数仓的标配。为了更好的支持数据分析,就需要一种有效的手段去组织数据,即数据仓库建模方法论。

点一下KimBall、Inmon两位大神的名字,不熟悉的朋友可以搜索下,你会收获很多。

2010年前后,随着互联网的兴起,人们对数据分析的诉求越来越多,与数据相关的系统越来越复杂,主要体现在:

  1. 数据源种类越来越多,除了传统数据库,NoSQL库、图库、日志、半格式化数据广泛出现在业务系统中。收集这些系统中的数据,本身就面临种种挑战
  2. 数据需要进行的预处理逐渐增多,与这些预处理任务相关的脚本的执行和任务编排/调度变得越来越复杂
  3. 数据分析系统越来越多样,如数据导出到NoSQL库、图库、甚至缓存,数据在仓库和这些系统之间的流转越来越复杂,甚至只有少数的数仓专家能胜任。

人们发现,急需一套完整的系统,从异构源数据的采集、数据ETL代码开发与管理、任务调度、监控、数据同步等等方方面面的功能、或模块有机的整合起来,最好能够无缝对接,从而降低数据加工处理的复杂性。

这一套应运而生的、有机整合的工具链系统就是数据平台。

可以这么说,在数据仓库阶段,人们已经认识到了大数据的价值,并从数据建设的角度出发,完成了数据归集和整理。所以我认为数据仓库时代,就是大数据资产化的时代

数据平台,从工具链的角度,整合了零散的各种数据工具,进一步降低了数据的使用门槛。数据平台就是数据工具的平台化时代

数据仓库以数据为目标、数据平台以工具为目标这种格局持续到2018年。

2018年前后,互联网企业逐渐寡头化、流量红利见顶之后,各大阵营开始从粗放的流量运营向精细化的用户运营转变

随着对数据需求的加大和加深,如:阿里的全域营销,需要能够横向看到优酷、天猫、淘宝、虾米等各业务线的数据。

此时,才发现之前按照部门、或业务线分别建设的数据仓库其实是一个个的数据孤岛,由于缺乏驱动力,数据并没有融通。

数据和系统建设需要以业务场景为驱动,改变原有的纯数据视角或纯工具视角,支持业务才是最终目标,因此业务就变成了前台,数据与工具建设就变成了背后的中台。

这个变化乍一看变化不大, 事实上数据中台对现有架构的改变,比想象中要大很多:

  • 数据建设需要从业务视角出发,要打破烟囱,也会打破原来的利益格局
  • 原来把工具做好,等人上门来用就好了。现在不行了,业务方要的是数据服务,中台需要更向前一步,把数据服务做好,并且还要考虑复用性。
  • 但是跟业务方贴的太紧了呢,跟业务系统怎么分,如何做到可以支持多业务,这里面的分寸该怎么拿捏?

因此,数据中台是以业务为导向和目标的,但又要足够抽象、以便能尽可能支持更多的场景和业务。

从数据角度来说,数据中台需要做到全局打破烟囱、统一建设、有机融合;从系统角度来说,数据中台需要在各个环节减少不必要的阻塞和"协同",允许用户自助式的通过数据服务获取和使用数据。

2. 没有哪个更优秀,只是发展阶段的历史使命不同

那是不是说数据中台就比数据平台更有优势、更优秀呢?其实不能这么看,他们所处的历史时期和使命不同。

这个历史时期需要跟你所在企业的相匹配,才能做出正确的选择。如果跨越阶段,大干快上搞中台,费时费力不说,还可能成为笑柄,如:

搞中台的不知道业务目标、业务在野蛮增长阶段,好像对大数据也没有那么强烈的诉求,你说这事能不烂尾么....万万不可东施效颦。

3. 数据平台不会自行演变成数据中台,需要外在力量

既然都已经是中台时代了,是不是我的数据系统天生就是数据中台了,就好像在64位机时代,闭着眼选的CPU也不会是32位一样?

也不能这么看,根据之前的探讨,数据仓库和数据平台有它的历史使命,即使你的目标就是建数据中台,数据仓库不还是要建设的么,数据仓库和数据平台都是数据中台的基础,他们是以一种新的形态和理念呈现在数据中台中的。

4. 从马克思的观点看数据中台和未来趋势

从马克思政治经济学的角度,根据生产关系的性质,人类社会可以划分为原始社会、奴隶社会、封建社会、资本主义、共产主义等。

大数据和业务之间的关系,大致也可以有这个类比,大数据从可有可无、锦上添花、到雪中送炭的认知升级,就是这个关系演变的体现,我们甚至可以推测一下数据中台之后的一个历史阶段,大数据和业务会是个怎么样的关系。

关于这一点,请继续关注居士的文章:)

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2020-03-04,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 木东居士 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 就在前几年,人们在说"数据平台"四个字的时候,都是信手拈来,不用去想这四个字到底是什么含义,也不会产生什么思维上的混乱。
  • 1. 从历史阶段来看大数据发展史
  • 2. 没有哪个更优秀,只是发展阶段的历史使命不同
  • 3. 数据平台不会自行演变成数据中台,需要外在力量
  • 4. 从马克思的观点看数据中台和未来趋势
相关产品与服务
数据库
云数据库为企业提供了完善的关系型数据库、非关系型数据库、分析型数据库和数据库生态工具。您可以通过产品选择和组合搭建,轻松实现高可靠、高可用性、高性能等数据库需求。云数据库服务也可大幅减少您的运维工作量,更专注于业务发展,让企业一站式享受数据上云及分布式架构的技术红利!
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档