这三个方面可以理解为数据湖的核心能力，其它的类似数据清洗转化，数据治理，数据质量管理等都是扩展能力，不是数据湖的核心。同时我个人实际是比较反对将这些能力全部加到...

于是我们有了数据仓库——把数据清洗、建模、优化，专门用来做分析。性能飞跃，查询秒级响应。

Lakehouse 湖仓一体架构是一种融合数据湖与数据仓库优势的新型架构，既具备数据湖开放统一的存储能力（支持多源异构数据低成本存储），又拥有数据仓库的高性能分...

数据湖是一个集中式的存储库，允许你以任意规模存储多个来源、所有结构化和非结构化数据，可以按照原样存储数据，无需对数据进行结构化处理，并运行不同类型的分析对数据进...

2025年5月23-24日中国系统架构师大会-专题研讨会·北京站，将在北京·朗丽兹西山花园酒店召开。本届大会以“数智赋能 架构演进”为主题，搭建一个高端、开放、...

本文将围绕国内市场现状，探讨如何推动数据湖从传统的 Data 模式进入到 Data+AI 一体化平台这一方向。主要内容包括：

为了解决数据湖在分析方面的复杂性，数据湖表格式（Data Lake Table Formats）应运而生。这些表格式是专门为数据湖设计的存储格式，旨在优化数据的...

数据湖（Data Lake）的概念随着大数据技术的发展而逐渐兴起。传统数据仓库（Data Warehouse）在数据存储和处理方面存在一定的局限性，例如数据需要...

欢迎阅读由 Onehouse.ai1 为您带来的2025年4月版Hudi通讯！本月，我们将为您带来另一轮令人兴奋的社区更新、技术深度探讨以及展示Apache H...

在 Uptycs，我们的数据平台架构多年来随着几乎所有数据平台的自然发展而发展。最初我们的架构围绕在线事务处理 （OLTP） 数据库 （在我们的例子中主要是 P...

在当今数据驱动的时代，企业和开发者都希望能快速、高效地构建数据 API，以便将数据库中的数据灵活应用于各种业务场景。但传统的 API 开发往往涉及复杂的编码、繁...

聚类是数据湖仓架构中的一项关键优化技术，它解决了数据布局与查询访问模式对齐的挑战。通过线性排序和多维聚类等策略，可以少不必要的文件扫描来显著提高查询性能。

Apache Hudi最初由Uber于2016年开发，旨在构建一个事务型数据湖，以快速可靠地处理数据更新，支持其网约车平台的高速增长。如今，Hudi已被行业广泛...

国内首场 Apache Iceberg Meetup 在深圳成功举办，腾讯云在活动中分享了 Iceberg 在腾讯云大数据中的成功实践，并推出了 TC-Iceb...

Iceberg是介于上层计算引擎与底层存储格式之间的中间层，定义为一种"数据组织格式"并称为表格式，它并不定义数据存储方式，而是定义了数据、元数据的组织方式，向...

抖音集团内部使用的数据湖格式称为 ByteLake，它是基于 Apache Hudi 深度定制的一个数据库框架，其核心功能包括支持 ACID、增量消费更新和湖仓...