专栏首页曲水流觞TechRillDàYé玩转数据战略Step By Step

DàYé玩转数据战略Step By Step

Pexels By Pixabay

“爷我天蝎座,打小不喜欢凑热闹,更不会强迫自己融入热闹,什么国庆长假,什么网红餐厅...只要是让我排队,就感觉是浪费生命,我是万万不会屈从的。 这个说不上毛病的毛病,或多或少也在影响我在专业领域的判断。比如,19年中台这股热闹妖风刮起来的时候,我基本是捏着鼻子远远躲开的。直到最近在调整组织战略,数据运营重新进入我的视野,落地却屡屡不得法时,不得不静下心来探究一番,热热闹闹的数据中台到底在说什么。 翻阅了不少资料,这里推荐下《数据战略-如何从大数据、大数据分析和万物互联中获利》《数据中台-让数据用起来》这两本书(部分内容也参考了它们),读罢获益匪浅。小标题里的关键字获利、用起来都是今天我要说的重点。 ”

以史为鉴

我们先看看工业革命的演进路径,从1.0的蒸汽机时代,到2.0的电力、流水线和大规模生产时代,再到3.0的计算机自动化时代,最后是4.0的智能化时代。

再瞅一眼互联网Web的发展路径,从1.0的计算机互联只读时代,以网络单向提供静态内容给人的方式出现;到2.0的互动分享社交读写时代,以人与人的沟通、创作、传播、协作的双向特征出现(如Facebook/Youtube,HTML5/CSS3技术);再到3.0的移动语义和物联 读写执行 时代,计算机可以智能生成、理解和分发用户需要的内容,更理解语义更通人性(如苹果Siri, 小度); 2020开始的4.0时代,目前还没权威定义,有云操作系统、去中心化区块链、共生网络等,下图的Web OS其实也只是形态之一罢了。

图自: https://medium.com/@vivekmadurai/web-evolution-from-1-0-to-3-0-e84f2c06739

参考1:从1.0到3.0的Web进化 参考2:万维网:从WEB 1.0到WEB 4.0和SOCIETY 5.0 参考3:万维网的进化: 从Web1.0到Web4.0

不管是工业革命还是万维网,它们的进化史都有惊人相似之处。蒸汽机只是让车跑的更快让机器更有力量么?你更应该知道火车进入运输业让印刷业极大受益,并带来知识的大范围传播。电力就不用说,催生出电视电话,更加速了资讯的传播。而且人在整个工业或者信息链路上主导的能力越来越弱,随着连接(互联、物联)的不断发生,信息流转的速度不断加快,信息数据的量级也呈爆炸性态势,导致对信息处理效率和准确性的要求也持续增强。这种进化的本质是,我们不再满足于信息的共享和传播,而是更加关注价值的迅速转移。什么是价值转移,举个例子,外卖平台识别到糟糕的天气状况,智能延长外卖的承诺送达时间,让外卖小哥可以不那么拼命赶路,这就是从天气预报信息到外卖小哥交通安全的价值转移。而做到这一切的关键内核,就是信息,也就是我们今天要谈的数据。

而今各色公司都在喊的“数字化转型”“数据中台”“数据运营”“产业互联网”等等都是数据(中台)战略的不同包装或展现形式。数字化转型可不要与以前的信息化转型混淆,信息化可以简单理解成以前的线下手工操作变成了线上系统操作,信息存起来了却是零散的割裂的(即便是结构化的数据)。而数字化是在信息化之后的资源整合、数据连接后的价值挖掘和商业应用。

统一语言

开始之前,先跟各位读者统一下数据语言,防止出现理解偏差,顺便罗列一下我理解中的数据战略体系内容。

1. 术语

数据资产:能直接作用于业务领域,业务人员能阅读和理解的,可计量、可控制、可变现的数据,才能称之为数据资产。数据湖 里的那些原始数据或者贴源数据,只能算是 数据资源。数据湖一旦维护不当就可能变成 数据沼泽

数据分类:数据的定义五花八门,不同场景有不同的叫法,甚至重叠度很高。我简单罗列了下自己知道的一些数据种类和名称,错误或者疏漏之处欢迎指出。

2. 四大体系

数据战略的落地规划一般要假设这三个体系:技术体系、数据体系、应用体系和监控体系。技术体系无非就是平台系统、数据组件等的开发。数据体系是核心,就是专心把数据收集、汇总、加工这个形成数据资产的过程做好。而应用体系提供数据服务,在数据资产的基础上提供类似用户画像、信用评估、预警告警等应用服务。为了让前三个体系可以健康持续的运转,需要规范、流程、评估、优化、改进等一系列监督辅助性职能,这个就是监控体系。

3. 五个环节

数据开发5个环节:数据收集 -> 数据汇总 - > 数据开发 -> 数据应用 -> 数据优化。

4. 五个关键步骤

梳理现状 -> 架构规划 -> 开发数据资产 -> 应用数据到业务场景 -> 运营及优化。

第一步: 动起来 & 用起来

horse.png

首先,数据战略行动一定是“一把手”工程,因为只有一把手才能推动数据战略的落地。然而,再强势的一把手,也有一拳打在棉花上的时候,毕竟执行力彪悍的团队可遇不可求,而且更多时候不是执行的问题而是组织的问题:令不出“朝堂”、政令不畅、部门墙、阳奉阴违,不一而足。

所以第一步,特别强调,务必从可实操、有价值、可感知的业务场景来切入,我在这一步上是吃了大亏的。而通常符合这个标准的业务场景,从业务运营团队的痛点中比较容易获取。

可实操,说的是技术实现、政策规范、组织协调等层面进行实际操作的难易度。想象一下,

  • 你想看PV/UV数据,系统连埋点功能还没有规划,实操性就很弱。后端规划数据上传和数据存储倒不麻烦,前端需要仔细设计如何埋、埋哪里、何时触发、耗电、权限、性能等等一系列,就不是个小事情。等把埋点实现好,App发版对外,用户更新完,之前的活动页PV UV需求可能都过去式了;
  • 风控授信需要大量数据支撑,资信数据、社交数据、行为数据、设备数据...有些需要用户的授权,有些授权也没用,因为政策上就不合规,更令人恼火的是即便用户授权了也会投诉你误导用户点击...这种数据的获取必须慎之又慎;
  • 当你的数据分析部门只有关系型数据库的技能,对Hive HQL语法、图GraphQL语法千推万阻之时,你能怎么办?

有价值,比较容易理解。没有价值的数据战略行动是没有生命力的,且不具备可持续性。它不应该满足某些个人的喜好,也不能是劳民伤财的政绩工程,而一定是数据的场景应用,可以应用于运营,可以是风控,也可以是市场,但尽量不要只是应用于老板的桌面。就我而言,判断一个数据项目是否有价值,需要重点关注4个领域:用户、市场和竞品、财务、运营。

可感知,是对数据战略升级的一个特别重要的铺垫。直白点说,数据成果要能大张旗鼓的展示出来,让团队感受到它的价值和成就感。比如很多人当成政绩工程的***监控大屏***,就是能让团队感受到业务流淌的脉搏,感受到与用户面对面的呼吸,还有什么比这打出的鸡血更浓郁?

做到以上三点,这一步就算基本做踏实了。也不建议做多,做的越多落地周期就越长,你的数据战略也就迟迟不见踪影。总结下这个阶段的特点是业务驱动数据,不做高大全的顶层设计,够用就行。不追求完美的规划和架构设计,hard code都行。从独立的小项目切入,甚至多个小项目是各自为战的状态也别介意。至少你已经走起来了不是么?

“提醒一点,先动起来不是说没有设计没有规划,而是不要追求完美和完整,这个度请自行揣度。 至少对于“先尽可能多的把全量数据收集起来”这一点,我是持反对意见的。埋点收集一堆用不上的或者垃圾数据,光存储成本就是一种成本浪费,更不要说垃圾数据可能造成的决策误导。有句俚语是:别让数据变成白色大象(White Elephant,代价高昂却一无是处) ”

第二步:打造数据文化

打铁趁热,一鼓作气。

当组织感受到数据的甜头之后,就会想从数据中攫取更多好处。当然,随之而来的阻力也会更大。比如承载巨量数据资产的硬件成本是高的吓人的,无论怎么逼业务部门提出来的数据需求都不怎么像样,或者永远都是就是那几个无关痛痒的业务指标,随着数据战略的全面铺开,难度不断加大,玩不转打退堂的、想砸钱的、不想花钱的...各种冲突都会浮现出来了。

“关于提不出来需求这个事,相信很多做过数据的朋友都会有共鸣。拿着一堆数据就好像知道了问题的答案,却不知道问题是什么。 正如科幻圣经《银河系漫游指南》里的超级计算机,对“生命、宇宙和万物”计算出的最终答案是数字 42。你却不知道这个42对应的问题是什么,这才是问题本身的问题。 ”

而数据文化的意义就是,让员工意识到数据的无限可能性,沉醉于数据的价值挖掘,并最终得意于数据的业务应用、商业决策以及经济利益。再概括浓缩到一句话,数据文化就是放大数据金矿的诱惑力,让员工趋之若鹜、甘之若饴。相信每个组织都有自己专属的文化特征,而数据文化,也并无不同。无非是将数据思想植入产品的全生命周期,Data Driven Everything。

这里还是从我自己的角度先给几点血泪踩坑建议吧:

  • 一把手一定得亲自参与数据文化的打造,在民主投票出现冲突时、推行卡滞时、优先级排序、方案评审时,这些重要时刻一定不能偷懒或者敷衍,一把手不认真,文化就不可能认真,这是第一原则;
  • 数据文化不能成为政绩工程,当数据的产出成为绩效的一部分或者吹嘘的资本时,必须提高警惕。就像写的代码有Code Smell,数据文化同样有Data Smell。比如数据体系(元数据/标签/数仓)这个地基都没打好,就说自己的数据服务-用户画像多么多么牛掰,这种头重脚轻的Smell特别普遍;
  • 数据建设需要专业人才,数据团队作为数据文化的智囊团和践行者,需要极高的专业度。从架构到工具,从模型到服务,从展示到安全,必须面面俱到;
  • 数据文化需辅以完善的规范和流程制度来护航,对于数据资产的管理除了靠人靠技术,就剩下靠制度了。规范制度是数据战略可以持续健康运作的必备条件,否则面对数据中台这种级别的航空母舰,一个历史包袱完全可以让你无法弥补。一个行之有效的“航母操作手册”,比苦口婆心的口水有用的多;
  • 文化的落地前期可能需要一些命令式操作,但是随着组织意识的完善,中后期不能让文化走偏成为一种约束。比如逢必谈数据,过于偏执于数据,可能会让决策过程复杂化,产品流程延长,更坏的情况是组织的数据能力不到位,给出错误的数据结论,那就糟糕了。所以相信数据的力量,但不能迷信数据的结论。

这个阶段的重点是要打造较为完整的数据中台架构和组织,整合散落的数据,消除数据孤岛,规范数据的采集、存储和分析,所以规划、整合和规范是本阶段的关键字,剑指数据驱动业务。在上面“统一语言”章节提到的体系和步骤都是架构核心内容,你的数据中台不是在建设这些内容,就是在建设这些内容的路上。再解释一下何谓完整,比如容易被人忽略的“数据安全”,是数据战略的重中之重,绝对不能轻视和忽略,甚至延后再补都不能允许;组织上,数据团队的委员会、产品、开发、质量、模型、运维工程师都不可或缺。

第三步:数据优化和可持续

说实话,我们也正在这个阶段的河里摸着石头的人。

当你在天量的数据源上又沉淀出海量的数据资产时,没有人可以保证这些数据资产的质量如何,价值难以评估,安全性未知或者堪忧,数据的管理可能也浮于表面,更多是为了业务应用而仓促成形。另外随着组织战略的调整,一些历史性数据对整体数据中台的冲击和负担,也应该同步清理,抛弃历史包袱。这些都需要治理、监控、优化和升级的。

先说数据治理,这个概念也历史悠久了,甚至理论体系都有好多,像 DAMA、CMMI、DGI等等。基本上数据治理的目标有这几个:提升数据质量、构建统一的数据标准、组织内达成一致的解决数据问题的方法、透明完善的数据管理流程、数据的可持续运营。而数据治理的发展趋势也各有选择,有采用AI来提升数据治理效率的,有采用元数据为核心的分布式治理,我们采用的是后者。

“元数据Metadata是什么?描述数据的数据。抽象的定义...它一般分为技术元数据,如表结构、字段约束、字段字典,业务元数据,如业务指标、业务术语,管理员数据,如数据Owner,数据安全等级等等。 元数据的应用场景很多,常见的如ETL程序做数据转换时需要知道源数据的结构和字典,通过数据血缘分析发现改一个字段的长度,会影响哪些系统,都是特别典型的。 ”

再说数据质量,它的高低直接关系到数据决策的对错。所以要对源头数据质量、加工过程质量和使用价值质量进行全方面的评估和改进。简单展开下,源头数据的准确性、时效性至少你得确认清楚吧,1年前的用户资信数据你敢用么?加工过程的质量更不必说,生成的标签数据,也是有准确率、时效性、覆盖量等,比如不是所有用户都登记了性别的,那男女标签覆盖的只是用户登记过性别的群体而已。加工所需要的模型也是需要不断调整的,以前是你看尿布给你推荐尿布,现在是你看尿布给你推荐啤酒。使用价值的质量相信不太好理解,其实像某个标签的使用量,越多业务部门使用,说明这个标签越有价值;某个高频使用的标签价值可以很低(用户姓名),低频使用的标签价值可以很高(用户信用评分)。

然后说点数据成本的优化策略吧,线上常见的有重复计算、冗余计算导致资源浪费,上面说的低价值的计算却耗费了大量计算资源,不合理的任务调度或者逻辑实现导致并行成了串行,数据资产的产出频率过于密集导致明明日报就行非得小时报刷新。这些也是数据运营的重要策略,而评估数据运营的两个关键维度就是 投入产出比 + 数据质量及安全。

最后对于可持续性就提一下数据安全,因为数据安全关系到数据的全生命周期(产生-存储-传输-使用-共享-销毁),脆弱的安全体系甚至可以瞬间摧毁一个组织。这个我是真的不怎么专业,只知晓一些基本的,如安全认证和权限管理、资源隔离、加密、脱敏、容灾备份等等。这里面还隐含一个数据来源的合规性、合法性,数据本身就是不安全的,当然你在此基础上搭建的任何数据应用就更加的不安全了,极端点就是你的人身安全。

这个阶段基本上就是在迭代优化的路上不断持续运转,技术面、组织面、制度面都是需要跟踪的,如何保持数据文化长久的生命力,将是核心话题。

而我们将要长期走在数据铺就的这条路上,不断成长...

“市面上谈中台的文章,开篇通常都是从芬兰的supercell公司说起,无趣的很。今天看到一个有趣的史料说法,中国东汉的中枢机关尚书台,号称中台。唐朝的三省六部制,尚书省也是中台,辖六部。当然,此中台非彼中台,权当一笑。 ”

本文分享自微信公众号 - 曲水流觞TechRill(TechRill),作者:曲健Nicholas

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-09-29

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • MVVM、RxJava、Retrofit三剑合璧,事半功倍

    MVVM和MVP是当前比较流行的两种应用开发架构,两者各有优缺点。目前公司所有Android项目用的都是MVP架构,所以这篇文章我们可以一起来深入了解一下。当然...

    曲水流觞
  • 宝马雕车香满路,另类架构老司机

    上海中环和罗山高架路上的不少电子警示牌,不厌其烦地提示着"变道请提前3秒打转向灯",以前看到了也就看到了,因为笔者一直很守法,一般提前5秒就打了,所以此警示从未...

    曲水流觞
  • 不要再被MYSQL的INT(M)给迷惑了

    MYSQL里有些比较隐晦的知识点,经常被稀里糊涂的用错而不自知。以前评审过程发生的次数较多,索性随手写一些出来。前人栽个树,后人一定要乘凉啊!

    曲水流觞
  • Mango中国区数据总监:如何一步步走近数据科学

    作者简介 李舰先生现任堡力山(PMI)集团副总,曾任Mango Solutions 中国区数据总监。 专注于数据科学在行业里的应用。擅长R语言的工程开发与...

    机器学习AI算法工程
  • 【大数据分析报告】大数据+机器学习将成为大部分企业的标配

    导读:SoftServe是全球领先的技术解决方案提供商,近日发布了自己的Big-Data-Analytics-Report,研究显示62%的大中型公司希望在未来...

    钱塘数据
  • 英国2020《国家数据战略》与世界各国对比解析

    2020年9月9日,英国数字、文化、媒体和体育部(DCMS)发布《国家数据战略》(下文简称《战略》),支持英国对数据的使用,帮助该国经济从疫情中复苏,并将在20...

    明悦数据
  • 透过数据魔镜看人看物看世界

    万物皆数,透过数据的魔镜能够帮助人类照出万物的本质,看人看物看世界。正如实现心愿的如意——如意如意快快显灵,数据的如意如今已经成为评判人和物的标尺,给人给物画像...

    机器思维研究院
  • 投稿 | 现阶段我为什么不看好纯粹的数据交易?

    原力大数据创始人江颖表示,尽管大数据交易平台建设正值爆发期,数据交易号称的市场规模也在不断壮大,同时也有国家大力的政策支持。但是短期内,我仍然不看好数据交易,因...

    数据猿
  • 数据清洗 Chapter01 | 数据清洗概况

    这篇文章讲述的是数据存储方式和数据类型等基本概念、数据清洗的必要性和质量评价的关键点。希望这篇数据清洗的文章对您有所帮助!如果您有想学习的知识或建议,可以给作者...

    不温卜火
  • 数据猿专访 | 北大新媒体研究院副院长刘德寰:大数据将在公共卫生领域迎来爆发式发展

    <数据猿导读> 刘德寰教授在接受数据猿采访时说到,公共卫生跟人的生命密切关联,未来,大数据一定会在公共卫生领域有巨大的应用前景跟爆发式发展;但同时也很担忧,现在...

    数据猿

扫码关注云+社区

领取腾讯云代金券