首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
首页标签数据湖

#数据湖

数据湖是一个集中式存储池,可对接多种数据源,无缝对接各种计算分析和机器学习平台

快手:从 Clickhouse 到 Apache Doris,实现湖仓分离向湖仓一体架构升级

SelectDB技术团队

在当今这个数据洪流的信息时代下,数据已跃升为企业不可或缺的核心资产。深度挖掘并提炼数据内在价值,成为支撑企业战略决策的重要依据。在此背景下,快手建立了 OLAP...

14710

从数据湖到元数据湖——TBDS新一代元数据湖管理

腾讯QQ大数据

腾讯大数据TBDS 8月重磅推出了的新一代元数据湖管理系统,提供面向大数据湖仓分析、AI智能的统一元数据管理和治理。翻译一下就是:元数据管理的边界,我们给扩展以...

18610

电力行业数据湖技术方案Flink、Hudi、Hive on Spark案例全攻略记录及Hive查询MOR rt表异常修复

用户9421738

本文主要记录电力行业客户的数据湖技术方案实践案例,方案概括为基于FlinkSQL+Hudi流式入湖、同步表元数据到Hive,基于Hive catalog统一元数...

10310

兼容Trino Connector,扩展Apache Doris数据源接入能力|Lakehouse 使用手册(四)

SelectDB技术团队

Apache Doris 内置支持包括 Hive、Iceberg、Hudi、Paimon、LakeSoul、JDBC 在内的多种 Catalog,并为其提供原生...

7110

降本增效!Notion数据湖构建和扩展之路

ApacheHudi

在过去三年中,由于用户和内容的增长,Notion 的数据增长了 10 倍,以 6-12 个月的速度翻了一番。要管理这种快速增长,同时满足关键产品和分析用例不断增...

11610

Apache Doris + Paimon 快速搭建指南|Lakehouse 使用手册(二)

SelectDB技术团队

Apache Paimon 是一种数据湖格式,并创新性地将数据湖格式和 LSM 结构的优势相结合,成功将高效的实时流更新能力引入数据湖架构中,这使得 Paimo...

14310

Apache Doris 2.1.5 版本正式发布

SelectDB技术团队

亲爱的社区小伙伴们,Apache Doris 2.1.5 版本已于 2024 年 7 月 24 日正式发布。2.1.5 版本在湖仓一体、多表物化视图、半结构化数...

23410

图灵奖得主回顾与展望:数据库发展 60 年,AI 颠覆在即?

深度学习与Python

文章概要:数据库领域的两位重量级人物 Michael Stonebraker 和 Andrew Pavlo 联合发表论文,以 20 年为周期洞悉数据库产业发展,...

21210

腾讯云大数据 TBDS 参编信通院《数据库发展研究报告》,引领数据湖仓创新

腾讯QQ大数据

会上,中国通信标准化协会大数据技术标准推进委员会发布了《数据库发展研究报告(2024年)》,深入分析和展望了我国数据库产业及技术发展与行业应用情况。

15810

Apache Doris + Apache Hudi 快速搭建指南

ApacheHudi

Apache Hudi 是目前最主流的开放数据湖格式之一,也是事务性的数据湖管理平台,支持包括 Apache Doris 在内的多种主流查询引擎。Apache ...

19710

Apache Hudi 背后商业公司 Onehouse 宣布3500万美元 B 轮融资

ApacheHudi

加利福尼亚州桑尼维尔,2024 年 6 月 26 日 - 通用数据湖仓一体公司 Onehouse 今天宣布已获得由 Craft Ventures 领投的 350...

11310

数据编织与数据中台、数据湖、数据治理、DataOps的关系

大数据学习与分享

数据湖只是数据编织的异构数据源之一(数据源可以是数据仓库、数据湖,也可以是业务数据库等其他数据存储),数据编织将应用程序与数据湖(或者数据仓库等)进行连接,通过...

23610

一文掌握最新数据湖方案Spark+Hadoop+Hudi+Hive整合案例实践总结

用户9421738

大数据生态发展数年,各种组件版本迭代升级在所难免。组件之间、不同版本之间的适配整合升级,尤为重要。本文主要讲述当前火热的数据湖方案Spark+Hadoop+Hu...

14410

腾讯云首发大数据高性能计算引擎Meson,支持三大产品线性能升级

腾讯QQ大数据

目前, Meson 已登陆腾讯云数据湖、检索分析服务、云数据仓库三大业务线,为企业在湖仓一体分析、向量检索、海量数据离线计算等业务场景带来卓越的性能表现。

42810

Apache Hudi - 我们需要的开放数据湖仓一体平台

ApacheHudi

毋庸置疑,Hudi 是一个非常成功和有影响力的开源项目,它已经为许多公司提供了 7+ 年,在云上管理多个 EB。但考虑到我们所处的位置以及市场上人为的双头垄断叙...

23110

数据湖在快手的应用实践

ApacheHudi

导读 本文将分享数据湖在快手的应用实践。文章从业务使用方的视角,全面回顾了数据湖(Hudi)在快手内部的应用推广历程,给业务开发带来的效率提升和成本优化,以及在...

15510

国内顶级汽车制造厂的创新实践:如何利用实时数据湖为更多业务提供新鲜数据?

Tapdata

充分考虑到影响自身 IT 生产力发展的主要原因,该车企考虑采纳新一代实时数据湖方案,用于实时接收、存储和处理来自多个数据源的数据存储系统。与传统数据湖不同,实时...

9610

相关产品

  • 数据湖

    数据湖是一个集中式存储池,可对接多种数据源,无缝对接各种计算分析和机器学习平台

领券