什么是 Data Mesh ？

哒呵呵

发布于 2021-03-16 14:36:18

3K0

发布于 2021-03-16 14:36:18

文章被收录于专栏：鸿的学习笔记

材料主要来源于How to Move Beyond a Monolithic Data Lake to a Distributed Data Mesh和Data Mesh Principles and Logical Architecture。

起源

Data Mesh 的概念起源于 ThoughtWorks 的首席技术顾问 Zhamak Dehghani 发表在 martinfowler 官网上的两篇文章How to Move Beyond a Monolithic Data Lake to a Distributed Data Mesh和Data Mesh Principles and Logical Architecture。

martinfowler 官网也是软件行业中微服务概念和服务网格概念的诞生地，因此 Data Mesh 概念的提出也吸引了不少人的关注，有很多公司尝试去实践了这个概念，包括JPMorgan Chase、Intuit、Netflix等公司。

诞生的缘由

没有一个概念是无缘无故提出来的，Data Mesh 的诞生也是基于某些现状而提出来的。Zhamak Dehghani 认为对于很多公司的数据平台而言，面临着下面的问题：

第一代：专有的企业数据仓库和商业智能平台; 价格高昂的解决方案给公司留下了同样大量的技术债务; 数以千计的 ETL 作业、表和报告中的技术债务，只有少数专业人员了解这些工作、表和报告，导致对业务的积极影响没有得到充分认识。第二代：以数据湖为银弹的大数据生态系统; 复杂的大数据生态系统和由高度专业化数据工程师组成的集中团队操作的长时间运行的批处理任务，创造出了数据湖怪物，最多只能使大量的研发分析成为可能; 承诺过多，实现不足。

即使是后面的第三代平台，也依然存在着不少的问题

第三代和当前一代数据平台都或多或少类似于上一代, 虽然有些现代的转变：(a) 实时数据流可用性架构如 Kappa,(b) 统一的批处理和流处理数据转换框架如 Apache Beam,(c) 完全采用基于云的存储管理服务, 数据流水线执行引擎和机器学习平台。很明显，第三代数据平台正在解决一些前几代的一些空白，如实时数据分析，以及降低管理大数据基础设施的成本。然而，它仍然具有许多导致上一代失败的潜在特征。

上面的话，总结而言就是：企业想要去查一本字典，但是这本字典没有任何索引，并且这本字典的词汇是随机排列的，因此需要雇佣一群数据工程师和分析师去帮助解读这本字典。这里的字典就是所谓的数据。

因此 Data Mesh 试图解决这些问题。

番外：数据湖的缺点

在文章中，还特意点出了数据湖的核心缺点：

随着数据量的增加导致的数据管理的复杂性
数据使用者和生产者的隔离导致的两者互相的不了解带来的复杂性。

于是，某种程度上数据湖变成了技术债务。

概念解释

数据网格是一种应用在企业内部的数据平台原则，其融合了分布式领域驱动的架构（Distributed Domain Driven Architecture），自助平台设计（Self-serve Platform Design）以及将数据视为产品（Thinking Data as a Product）的思维。

数据网格专注于将数据视为产品，产品团队了解自己所使用的数据的方方面面（也就是所有的域）。并且 Data Mesh 将数据所有权上移给了负责某一项功能的团队，让他们按照他们更好使用的方式去创建，接触元数据，对数据进行分类和存储。

数据创建阶段时的数据管理和数据分类会让数据更为透明，更易于使用，从而消除了团队与团队之间的知识孤岛，并使数据真正民主化。从而帮助数据的使用方不必纠结于如何发现想要的数据，使其更加专注于如何从数据中产生价值。