Robinhood 团队成员高级工程师 Balaji Varadarajan 和技术主管 Pritam Dey 描述了他们公司的数据Lakehouse的实现，R...

反向 ETL 是将数据从数据仓库或数据湖移回到操作系统、应用程序或其他数据源的过程。“反向 ETL”一词可能看起来令人困惑，因为传统的 ETL（提取、转换、加载...

温涛，腾讯云存储解决方案总监，受邀出席本次活动，将于智算中心技术创新论坛分享“数据智能生态创新之路，腾讯云数据湖赋能AIGC多模态大模型”的主题演讲，期待你的光...

Apache Hudi 已成为管理现代数据湖的领先开放表格式之一，直接在现代数据湖中提供核心仓库和数据库功能。这在很大程度上是由于 Hudi 提供了高级功能，例...

说到数据集成（Data Integration），简单地将所有数据倒入数据湖并不是解决办法。 在这篇文章中，我们将介绍如何轻松集成数据、链接不同来源的数据、将其...

随着越来越多的公司依靠数据来推动关键业务决策、改进产品供应并更好地服务客户，公司捕获的数据量比以往任何时候都多。Domo 的这项研究估计，2017 年每天会生成...

现代数据湖一半是数据仓库，一半是数据湖，并且对所有内容都使用对象存储。将对象存储用于数据湖非常有意义，因为对象存储适用于非结构化数据，而数据湖就是用来存储非结构...

旨在最大化其数据资产的企业正在采用可扩展、灵活且统一的数据存储和分析方法。这种趋势是由负责构建与不断变化的业务需求相一致的基础架构的企业架构师推动的。现代数据湖...

传统意义上我们通常将数据处理分为离线数据处理和实时数据处理。对于实时处理场景，我们一般又可以分为两类，一类诸如监控报警类、大屏展示类场景要求秒级甚至毫秒级；另一...

在文件format(parquet/avro/orc)之上实现table语义 支持定义和变更schema 支持hidden partition 和parti...

数据湖仓库架构的普及性持续增加，这一点毫不令人惊讶。它们无缝集成数据湖和数据仓库的优点的潜力，承诺为数据处理和分析带来变革性的体验。然而，这种方法也存在缺陷。本...

Uber 是一个全球品牌，在全球 10,000 多个城市运营。该公司运营规模庞大，每月为超过 1.37 亿用户提供服务，每天为 2500 万次出行提供服务。数据...

数据平台团队负责构建和维护平台基础设施以及开发内部 API，负责将 Leboncoin 的生产数据（大量 Kafka 事件）归档到所有团队都可以访问的非常大的数...

开源数据峰会上最有趣的会议之一是三级数据工程师 Ankur Ranjan 和高级数据工程师 Ayush Bijawat 的演讲，介绍他们在领先零售商沃尔玛中使用...

数据湖的核心优势在于开放生态，数据湖通常会采用开放的存储格式，支持各种类型数据，扩展性强、存储成本比较低。而数仓的核心优势在于数据质量高，查询性能比较强，具备实...

一种是“湖上建仓”，即将数据录入数据湖中，再在数据湖上叠加数据仓库，按照数据仓库模式将数据湖中的数据源源不断地放入仓库进行加工应用。这相当于将数据湖作为数据源使...

第三，数据加速器和数据湖实现按需数据流动，GPU将checkpoint实时写入数据加速器，可异步沉降到数据湖进行长久的保存或分发。数据加速器可对所有地域数据湖加...

Vinoth Chandar 在 Uber 工作期间发起了数据湖仓一体架构，他是 Apache Hudi 项目的项目管理委员会 （PMC） 主席。Hudi 最初...

在过去十年里，随着公有云的崛起、数据激增和人工智能的兴起等浪潮席卷，整个数据架构经历了巨大的变革和更新。这些激变使得数据架构发生了天翻地覆的变化。作为一家领先的...