专栏首页网络安全观Gartner对于建设数据中台的建议

Gartner对于建设数据中台的建议

(文:Gartner高级研究总监 孙鑫)

数据中台是中国本土诞生的一个名词,很多企业在“什么是数据中台”和“我要上XX中台”徘徊。其炒作程度跟当年的“大数据” 一词有的一拼,如果用Gartner的炒作周期图来看,数据中台目前已经逼近炒作的顶峰。

与其不断地讨论什么是数据中台,企业更应该了解建设数据中台的目的是让企业高效的数据驱动,减少重复的架构建设。如果要用一张图来描绘Gartner如何看待数据中台的建设方向,可以如下图所示。

数据中台的建设方向应该处于企业数字化平台的核心,即Gartner定义的数据和分析平台(红色虚线部分),帮助企业的数字化平台(客户体验平台,生态系统平台,物联网平台和内部信息系统)的业务用户做出更好的决策,并在各个数字化平台的合作孵化下形成可复用的数据分析能力。数据分析能力应该在业务端无处不在且高度自助,最终助力数字化平台实现Gartner定义的封装的业务能力 (Packaged Business Capability)。

以下是Gartner对于想建设数据中台企业的建议。

数据中台中数据管理策略的平衡

上文提到的这么一个“大而全“的方向听起来是挺美好,但很多企业在建设初期是没有考虑过各个数字平台对数据资产的可复用性或自服务性的(这也是很多企业为了建立数据中台的初衷)。原因很简单,一次性完成所有平台的数字化本来就是不现实的,很多公司都是分阶段进行的,特别是传统企业,很多业务干脆还没有完成数字化,别说建设数据中台了。阿里,腾讯这样的数字化原生的企业建设中台是十分有优势的,或者说数据中台是这些企业在业务指数级增长的同时自然生长出来的产物。

另外数据作为数字业务的核心资产的价值被广泛接受,企业最直 接的反应就是试图在建立数字化平台时将数据收集(Collect)起来,仿佛这才是实现业务价值的关键。例如,过去非常流行的数据湖,会将收集数据作为核心能力。但收集数据不一定能带来商业价值,企业也没有可能一口气收集好全部数据。

以物联网平台为例,数据分布在网络上、边缘设备上、网关上、云端和传统系统中。例如,需要自主行为的 "物"(如联网汽车或风力发电机)必须有板载或网关上的数据和处理,以便对变化的情况做出即时反应。面向消费者的IoT解决方案(如用于健身追踪的可穿戴设备)通常将数据存储在云端进行分析。而且几乎所有的IoT解决方案还必须与传统业务应用共享和整合数据,以执行客户服务和长时间的性能分析。

另外,对实时(或 "近乎实时")集成的需求不断增加引入了一个交付时间的要求,这让最快的数据收集策略也无法满足。在采取响应之前,操作流程在 "边缘 "对数据采取行动与事先将所有的数据收集到集中存储的位置的要求是不相容的。试图收集所有这些物联网数据再后续处理和使用,既不实际也不可行。

同时,保护个人身份信息的隐私法规也将阻碍数据的整体收集。因此,一些数据用例将需要连接(Connect)到数据,而不仅仅是收集数据。

企业建设数据中台绝不是把所有的数据全部收集在一个地方了再开始应用数据,随着数据的不断涌入,用一种连接(Connect)的方式在数据原本存放的介质中重复利用数据才是数据中台也该有的手段。收集数据和连接数据的平衡是现代化数据管理的的必要条件。数据虚拟化能力会是企业需要在保留已有数据库,数据湖投入但又想建立数据中台必须考虑的元素。重复或冗余的数据始终会存在,企业要建立的不是“single source of truth”而是“single source of trust”。

企业可以进一步参考Gartner提出的新一代数据管理设计原则Data Fabric去用于实现可复用和增强的数据集成服务、数据管道和语义层,以实现灵活的数据交付。

定位数据中台为一个组织战略促进合作

企业在渐进式数字化转型时面临的一个共同问题,他们各自为政,分别构建类似的解决方案,例如针对不同业务目的的数据分析模型,而这些模型具有共同的元素。在最好的情况下,这样做会造成重复,但更多的情况下,这也会增加复杂性,因为这样做会产生不同的点式解决方案,即使在单个业务内也无法沟通,更不用说在全公司的业务价值链上了。从这个角度来看,Gartner更推荐企业把数据中台定性成一个组织战略,把数据分析团队作为数字化平台建设必备的一个元素。Gartner也在2019年的《Gartner 数字化业务团队问卷》中发现,数据分析/商业智能是融合团队(Fusion team)中除IT以外最常见的功能。

一个好的数据分析团队是由集中的团队和各条业务线上的分散团队组成的。很多企业过分的关注于技术架构的建设而不是业务人员基于数据的合作,在一味追求新的数据分析技术栈的过程,忽略了对于组织战略的调整以解决实际业务用户的问题,把原来遗留的问题从数据仓库移到了数据湖,再移到现在的津津乐道数据中台,而不是解决它们,一个现代化的数据分析团队应该是数据分析能力的赋能者,从管控数据能力到促进基于数据的合作。

业务场景出发整理已有的数据分析能力

企业在不断建设自己数字化平台时,早已投入了各种数据分析资产,这个时候为了数据中台这个新词而放弃已经建立的数仓,数据湖,数据整合平台是没有必要的,企业需要做的是把数据中台作为一个组织战略去联合各个部门共同建设可复用且自服务性高的数据分析能力,通过业务流程到数字化平台,自上而下(红线)的去整理已有的数据分析能力。

大多数企业其实都已在做自下而上(蓝线)的数据分析平台,这本没有错,尤其是企业集中式的IT团队已部署数仓,设计了ETL流程和报表系统。但是作为前线的业务获得这些能力是被动的,久而久之,并不会存在业务主动要求提升自己的数据分析能力,毕竟业务作为企业内部的甲方,只提需求还是很爽的。

然而为了让企业变得更数据驱动,或者说让企业建的的数据中台能被真正用起来,逼着业务从业务场景开始做数据分析是一条必经之路,尤其在业务端才是能提出业务问题发起分析时刻(Analytics Moments)的一群人。

下图就是一个典型的电商的业务场景,从业务端定义并梳理分析时刻,从技术栈寻找相对应的数据分析能力的过程。

分析时刻是Gartner定义的一种数据分析流程,通过对数据进行可视化、探索和应用算法,支持业务成果的交付,从而做出更好或更快的决策,实现业务流程的自动化。在这个例子中,数据分析能力(最右侧)是被逐步建立起来的,他们的背后有大量的厂商可以被选择,这些能力可以多大程度的被其他分析时刻复用,多低的门槛可以被业务应用,直接决定了数据中台的成功。其中厂商的能力可以通过Gartner每年数据分析领域的九张《魔力象限(Magic Quadrant)》及配套的《关键能力(Critical Capability)》报告进行评估。

分析时刻的梳理往往是一个数据中台建设最为棘手的部分,他一方面依赖供应商是否有业务咨询的能力将业务场景梳理清楚,另外一方面也依赖企业自身的数据素养去不断优化对于数据分析能力的要求。企业可以借着建立数据中台这个机会,分类整理已有的数据分析能力或试行新的数据分析能力,Gartner每年出的《Gartner Analytics Atlas》报告就可以像能力字典一样去帮助企业分类与挑选。

数据分析能力整合到复用是一个创新的过程

通过刚才的例子我们也可以看见,电商场景的业务逻辑是很成熟且明确的,其背后数据分析能力也能很快的被重复应用上,然而可复用的数据分析能力是个非常主观的概念,不一样数据素养的团队对于数据分析能力的要求是非常不同的,越简单易用,也容易被别的业务场景给重复利用,不一样的地方是数据的情景和用户情景。如果数据中台的输出能力仅仅只是Data as a Service,即API的形式是远远无法让业务可以直接使用的,从而降低了企业对数据分析应用的广度。企业应该通过整合复用以丰富数据分析能力的输出,随着新技术的引入和融合团队的建立,这无疑是个创新的过程。

例如,由机器学习为基础的增强型数据分析和管理工具,就可以大大降低用户的使用门槛(自然语言驱动的分析)并减少数据管理的工作量(主动利用元数据学习获得用户行为)。企业应该了解到利用增强型能力是为减少数据分析手动的部分,从而给用户给多时间去构思业务如何使用数据。

图谱分析(Graph)的引入也会更进一步帮助企业去探知利用率严重不足的数据,图谱可以发现企业数据与数据之间以及不同部门使用数据中被忽视或难以察觉的联系,从而让需要可复用的能力有据可寻,图谱已经变成了很多数据分析产品的基础性技术。企业建立数据中台,缺少的可能既不是数据的量(Quantity)也不是数据的质(Quality),而是数据之间的联系。

如果企业建的数据中台需要在技术的角度进一步让企业减少重复开发的工作量但是提高数据分析的利用率,这些技术都是值得进一步去研究的。增强型数据管理和图谱技术也是今年Gartner的十大数据分析技术之一。

本文分享自微信公众号 - 网络安全观(SecurityInsights),作者:孙鑫

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-06-03

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 多图详解数据中台建设框架(建议收藏)

    导读:近日,舞动数字·2021数字化转型系列论坛由机械工业出版社华章公司成功举办。在数字化能力与平台构建专场中,《数据中台》的核心作者、数澜咨询及解决方案的负责...

    华章科技
  • 数据中台建设从数据中台的认知开始

    数据中台的概念由来已久,从技术产品构成上来讲,比如数仓、大数据中间件等产品组件相对完备。但是我们认为依然不能把数据中台建设作为一个技术平台的项目来实施。金融机构...

    yuanyi928
  • 建设城市大数据平台面临的挑战及建议

    日前,中国信息通信研究院正式发布《城市大数据平台白皮书》,阐述了城市大数据的概念和内涵,分析了建设城市大数据平台对于破解智慧城市建设难题的意义,并介绍了我国城市...

    数据猿
  • 数据中台建设五步法

    数据中台建设五步法是我们在十几个数据中台项目落地实践中总结出的一套方法论。在数据中台项目落地中,我们可以根据具体项目情况对其中的一个或者几个部分的内容做重点的加...

    王知无-import_bigdata
  • 五步法建设你的数据中台

    数据中台是当下非常热门的话题,可以解决企业重复造轮子的问题。虽然数据中台在互联网企业中已经有了多年的实践,但是对于传统企业来说还是一个比较新的话题。

    博文视点Broadview
  • 有赞数据中台建设实践

    究竟什么是中台, 业界并没有一个标准答案, 各个厂商都有自己的定义. 笔者比较认可的一个定义是 ThoughtWorks 提出的"企业级能力复用平台". 各个领...

    有赞coder
  • 企业级数据中台建设指南

    场景描述:本文围绕什么是数据中台,中台怎么建设,中台产品怎么选择,案例分析介绍企业级数据中台的建设。

    大数据真好玩
  • 企业级数据中台建设指南

    本文围绕什么是数据中台,中台怎么建设,中台产品怎么选择,案例分析介绍企业级数据中台的建设。

    王知无-import_bigdata
  • 爱奇艺数据中台建设方案

    数据中台更像一种企业架构,是一套结合互联网技术和行业特性,在企业发展的不确定性中,寻找确定性,并且持续沉淀和抽象企业核心能力,最终支持企业快速、高效、低成本进行...

    大数据学习与分享
  • 数据仓库、数据湖、数据中台终于有人说清楚了,建议收藏!

    随着大数据技术的不断更新和迭代,数据管理工具得到了飞速的发展,相关概念如雨后春笋一般应运而生,如从最初决策支持系统(DSS)到商业智能(BI)、数据仓库、数据湖...

    Python数据科学
  • #凯哥讲数据中台#数据中台建设成功的三个阶段

    自从数据中台爆火以后,天天有人问如何度量数据中台建设的效果,怎么证明数据中台建设就成功了。

    凯哥
  • 企业数据中台建设和发展的思考

    一、 数据中台产生背景、定义和特征 1.数据中台产生背景 2010年后,随着移动互联网以及物联网的快速发展,数据爆炸式增长,各种数据服务需求不断涌现。但在传统I...

    孙杰
  • 数据中台建设是气象业务的基石

    早就想聊聊这个话题,感觉说多重要都不过分!按理说我们气象部门的数据存储、处理和应用相比其他行业具有先天优势,无论观测还是预报,每天能够产生海量数据,并且有规范的...

    用户1247399
  • 干货 | 如何基于DataWorks构建数据中台?

    阿里妹导读:为了应对众多业务部门千变万化的数据需求和高时效性的要求,阿里巴巴首次提出了数据中台的概念,经过众多项目的实践已经沉淀出了标准化的流程和方法论。如何构...

    CloudBest
  • 如何建设数据中台:精益数据创新体系

    抗击疫情,腾讯云在行动。数据中台是企业数字化转型走向智能化的重要承载体系,如何建设数据中台? 是否有标准的产品可以购买?企业构建数据中台有什么注意事项? 本课程...

    可可爱爱没有脑袋
  • 大数据平台搭建:基于Hadoop的数据分析平台

    互联网的发展,带来了各种数据的爆发式增长,所有接入互联网的相关操作行为,都化为虚拟的数据被记录了下来。大数据时代的带来,一个明显的变化就是全样本数据分析,面对T...

    成都加米谷大数据
  • Gartner:2018年10大安全项目详解

    2018年6月份,一年一度的Gartner安全与风险管理峰会上,知名分析师Neil Mcdonald发布了2018年度的十大安全项目(Top 10 Securi...

    FB客服
  • IT专业人士需要知道的2018年七大技术趋势

    随着2017年接近结束,IT行业领导者正在考虑未来一年及以后将影响其业务的技术趋势。 ? 调研机构Gartner公司分析师日前在奥兰多参加一个行业会议,展示了...

    静一
  • SASE:理想与现实的 5 大差距

    据预测,未来SASE将改变网络和安全团队向最终用户提供服务的方式。SASE是一种软件定义的云架构,它将网络和安全功能合并到一个平台中。

    SDNLAB

扫码关注云+社区

领取腾讯云代金券