数据湖框架之技术选型-Hudi、Delta Lake、Iceberg和Paimon

数据湖概念

一、什么是数据湖

数据湖是一个集中式的存储库，允许你以任意规模存储多个来源、所有结构化和非结构化数据，可以按照原样存储数据，无需对数据进行结构化处理，并运行不同类型的分析对数据进行加工，例如：大数据处理、实时分析、机器学习，以指导做出更好地决策。

二、大数据为什么需要数据湖

当前基于Hive的离线数据仓库已经非常成熟，在传统的离线数据仓库中对记录级别的数据进行更新是非常麻烦的，需要对待更新的数据所属的整个分区，甚至是整个表进行全面覆盖才行，由于离线数仓多级逐层加工的架构设计，数据更新时也需要从贴源层开始逐层反应到后续的派生表中去。

随着实时计算引擎的不断发展以及业务对于实时报表的产出需求不断膨胀，业界最近几年就一直聚焦并探索于实时数仓建设。根据数仓架构演变过程，在Lambda架构中含有离线处理与实时处理两条链路，其架构图如下：

正是由于两条链路处理数据导致数据不一致等一些列问题所以才有了Kappa架构，Kappa架构如下：

Kappa架构可以称为真正的实时数仓，目前在业界最常用实现就是Flink + Kafka，然而基于Kafka+Flink的实时数仓方案也有几个非常明显的缺陷，所以在目前很多企业中实时数仓构建中经常使用混合架构，没有实现所有业务都采用Kappa架构中实时处理实现。Kappa架构缺陷如下：

• Kafka无法支持海量数据存储。对于海量数据量的业务线来说，Kafka一般只能存储非常短时间的数据，比如最近一周，甚至最近一天。
• Kafka无法支持高效的OLAP查询，大多数业务都希望能在DWD\DWS层支持即席查询的，但是Kafka无法非常友好地支持这样的需求。
• 无法复用目前已经非常成熟的基于离线数仓的数据血缘、数据质量管理体系。需要重新实现一套数据血缘、数据质量管理体系。
• Kafka不支持update/upsert，目前Kafka仅支持append。

为了解决Kappa架构的痛点问题，业界最主流是采用“批流一体”方式，这里批流一体可以理解为批和流使用SQL同一处理，也可以理解为处理框架的统一，例如：Spark、Flink，但这里更重要指的是存储层上的统一，只要存储层面上做到“批流一体”就可以解决以上Kappa遇到的各种问题。数据湖技术可以很好的实现存储层面上的“批流一体”，这就是为什么大数据中需要数据湖的原因。

三、数据湖与数据仓库的区别

数据仓库与数据湖主要的区别在于如下两点：

• 存储数据类型

数据仓库是存储数据，进行建模，存储的是结构化数据；数据湖以其本源格式保存大量原始数据，包括结构化的、半结构化的和非结构化的数据，主要是由原始的、混乱的、非结构化的数据组成。在需要数据之前，没有定义数据结构和需求。

• 数据处理模式

在我们可以加载到数据仓库中的数据，我们首先需要定义好它，这叫做写时模式（Schema-On-Write）。而对于数据湖，您只需加载原始数据，然后，当您准备使用数据时，就给它一个定义，这叫做读时模式（Schema-On-Read）。这是两种截然不同的数据处理方法。因为数据湖是在数据使用时再定义模型结构，因此提高了数据模型定义的灵活性，可满足更多不同上层业务的高效率分析诉求。

以上概念皆出自: https://cloud.tencent.com/developer/article/2010793

Hudi

官网介绍 Hello from Apache Hudi | Apache Hudi

What is Apache Hudi​ Apache Hudi (pronounced “hoodie”) is the next generation streaming data lake platform. Apache Hudi brings core warehouse and database functionality directly to a data lake. Hudi provides tables, transactions, efficient upserts/deletes, advanced indexes, streaming ingestion services, data clustering/compaction optimizations, and concurrency all while keeping your data in open source file formats

Delta Lake

官网介绍: Home | Delta Lake

Delta Lake is an open-source storage framework that enables building a Lakehouse architecture with compute engines including Spark, PrestoDB, Flink, Trino, and Hive and APIs for Scala, Java, Rust, and Python.

Iceberg

官网介绍: Apache Iceberg - Apache Iceberg

What is Iceberg? Iceberg is a high-performance format for huge analytic tables. Iceberg brings the reliability and simplicity of SQL tables to big data, while making it possible for engines like Spark, Trino, Flink, Presto, Hive and Impala to safely work with the same tables, at the same time.

Apache Paimon

官网介绍: Apache Paimon™

A lake format that enables building a Realtime Lakehouse Architecture with Flink and Spark for both streaming and batch operations. Innovatively combines lake format and LSM structure, bringing realtime streaming updates into the lake architecture

从官网介绍上看我感到很疑惑，数据湖好像是一种存储数据的格式，正如Delta Lake的介绍是一种 开源存储框架。难道数据湖真的只是存储框架吗？用来存储结构化和非结构化数据，那和 HDFS 有什么区别呢？

Hudi、Delta Lake、Iceberg和Paimon等都不仅仅是数据的存储中间层，它们是构建在现有数据湖基础上的数据管理和处理工具，提供了一系列功能和特性，包括数据版本管理、事务性写入、元数据管理、数据一致性保障等。它们可以与各种存储系统（如HDFS、S3等）集成，用于管理数据湖中的数据。

这些工具通常使用一种或多种文件格式来存储数据，但它们更多地是针对数据湖中的数据管理和处理进行了优化，提供了更好的数据管理、查询性能、一致性保障等功能。因此，它们可以被视为数据湖的增强工具，而不仅仅是一种文件格式或存储中间层。

以下是对这些工具的简要介绍：

Apache Hudi：Hudi是一种用于增量数据处理的开源数据湖工具，它支持数据的更新、插入、删除等操作，并提供了时间旅行（时间轴查询）等功能。

Delta Lake：Delta Lake是由Databricks开发的开源存储层，构建在Apache Spark之上，用于管理大规模数据湖中的数据，提供了ACID事务、数据版本管理、数据一致性保障等功能。

Apache Iceberg：Iceberg是由Netflix开发的开源数据表格式和管理工具，旨在提供数据版本控制、数据一致性、事务性写入等功能，与多种存储系统（如HDFS、S3）兼容。

Paimon：Paimon是开源数据湖管理平台，旨在解决数据湖管理的挑战，包括数据质量、元数据管理、数据治理等方面的问题。

这些工具的目标是提供更加完善的数据湖解决方案，通过增强数据管理和处理功能，提高数据湖的可用性、可靠性和效率。