数据湖是一个集中式存储池,可对接多种数据源,无缝对接各种计算分析和机器学习平台
在当今这个数据洪流的信息时代下,数据已跃升为企业不可或缺的核心资产。深度挖掘并提炼数据内在价值,成为支撑企业战略决策的重要依据。在此背景下,快手建立了 OLAP...
腾讯大数据TBDS 8月重磅推出了的新一代元数据湖管理系统,提供面向大数据湖仓分析、AI智能的统一元数据管理和治理。翻译一下就是:元数据管理的边界,我们给扩展以...
本文主要记录电力行业客户的数据湖技术方案实践案例,方案概括为基于FlinkSQL+Hudi流式入湖、同步表元数据到Hive,基于Hive catalog统一元数...
Apache Doris 内置支持包括 Hive、Iceberg、Hudi、Paimon、LakeSoul、JDBC 在内的多种 Catalog,并为其提供原生...
在过去三年中,由于用户和内容的增长,Notion 的数据增长了 10 倍,以 6-12 个月的速度翻了一番。要管理这种快速增长,同时满足关键产品和分析用例不断增...
Apache Paimon 是一种数据湖格式,并创新性地将数据湖格式和 LSM 结构的优势相结合,成功将高效的实时流更新能力引入数据湖架构中,这使得 Paimo...
亲爱的社区小伙伴们,Apache Doris 2.1.5 版本已于 2024 年 7 月 24 日正式发布。2.1.5 版本在湖仓一体、多表物化视图、半结构化数...
文章概要:数据库领域的两位重量级人物 Michael Stonebraker 和 Andrew Pavlo 联合发表论文,以 20 年为周期洞悉数据库产业发展,...
会上,中国通信标准化协会大数据技术标准推进委员会发布了《数据库发展研究报告(2024年)》,深入分析和展望了我国数据库产业及技术发展与行业应用情况。
Apache Hudi 是目前最主流的开放数据湖格式之一,也是事务性的数据湖管理平台,支持包括 Apache Doris 在内的多种主流查询引擎。Apache ...
加利福尼亚州桑尼维尔,2024 年 6 月 26 日 - 通用数据湖仓一体公司 Onehouse 今天宣布已获得由 Craft Ventures 领投的 350...
数据湖只是数据编织的异构数据源之一(数据源可以是数据仓库、数据湖,也可以是业务数据库等其他数据存储),数据编织将应用程序与数据湖(或者数据仓库等)进行连接,通过...
大数据生态发展数年,各种组件版本迭代升级在所难免。组件之间、不同版本之间的适配整合升级,尤为重要。本文主要讲述当前火热的数据湖方案Spark+Hadoop+Hu...
目前, Meson 已登陆腾讯云数据湖、检索分析服务、云数据仓库三大业务线,为企业在湖仓一体分析、向量检索、海量数据离线计算等业务场景带来卓越的性能表现。
毋庸置疑,Hudi 是一个非常成功和有影响力的开源项目,它已经为许多公司提供了 7+ 年,在云上管理多个 EB。但考虑到我们所处的位置以及市场上人为的双头垄断叙...
导读 本文将分享数据湖在快手的应用实践。文章从业务使用方的视角,全面回顾了数据湖(Hudi)在快手内部的应用推广历程,给业务开发带来的效率提升和成本优化,以及在...
充分考虑到影响自身 IT 生产力发展的主要原因,该车企考虑采纳新一代实时数据湖方案,用于实时接收、存储和处理来自多个数据源的数据存储系统。与传统数据湖不同,实时...