首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
首页标签数据湖

#数据湖

数据湖是一个集中式存储池,可对接多种数据源,无缝对接各种计算分析和机器学习平台

电力行业数据湖技术方案Flink、Hudi、Hive on Spark案例全攻略记录及Hive查询MOR rt表异常修复

用户9421738

本文主要记录电力行业客户的数据湖技术方案实践案例,方案概括为基于FlinkSQL+Hudi流式入湖、同步表元数据到Hive,基于Hive catalog统一元数...

8910

兼容Trino Connector,扩展Apache Doris数据源接入能力|Lakehouse 使用手册(四)

SelectDB技术团队

Apache Doris 内置支持包括 Hive、Iceberg、Hudi、Paimon、LakeSoul、JDBC 在内的多种 Catalog,并为其提供原生...

6710

降本增效!Notion数据湖构建和扩展之路

ApacheHudi

在过去三年中,由于用户和内容的增长,Notion 的数据增长了 10 倍,以 6-12 个月的速度翻了一番。要管理这种快速增长,同时满足关键产品和分析用例不断增...

10210

Apache Doris + Paimon 快速搭建指南|Lakehouse 使用手册(二)

SelectDB技术团队

Apache Paimon 是一种数据湖格式,并创新性地将数据湖格式和 LSM 结构的优势相结合,成功将高效的实时流更新能力引入数据湖架构中,这使得 Paimo...

12810

Apache Doris 2.1.5 版本正式发布

SelectDB技术团队

亲爱的社区小伙伴们,Apache Doris 2.1.5 版本已于 2024 年 7 月 24 日正式发布。2.1.5 版本在湖仓一体、多表物化视图、半结构化数...

20810

图灵奖得主回顾与展望:数据库发展 60 年,AI 颠覆在即?

深度学习与Python

文章概要:数据库领域的两位重量级人物 Michael Stonebraker 和 Andrew Pavlo 联合发表论文,以 20 年为周期洞悉数据库产业发展,...

20210

腾讯云大数据 TBDS 参编信通院《数据库发展研究报告》,引领数据湖仓创新

腾讯QQ大数据

会上,中国通信标准化协会大数据技术标准推进委员会发布了《数据库发展研究报告(2024年)》,深入分析和展望了我国数据库产业及技术发展与行业应用情况。

15210

Apache Doris + Apache Hudi 快速搭建指南

ApacheHudi

Apache Hudi 是目前最主流的开放数据湖格式之一,也是事务性的数据湖管理平台,支持包括 Apache Doris 在内的多种主流查询引擎。Apache ...

18910

Apache Hudi 背后商业公司 Onehouse 宣布3500万美元 B 轮融资

ApacheHudi

加利福尼亚州桑尼维尔,2024 年 6 月 26 日 - 通用数据湖仓一体公司 Onehouse 今天宣布已获得由 Craft Ventures 领投的 350...

10710

数据编织与数据中台、数据湖、数据治理、DataOps的关系

大数据学习与分享

数据湖只是数据编织的异构数据源之一(数据源可以是数据仓库、数据湖,也可以是业务数据库等其他数据存储),数据编织将应用程序与数据湖(或者数据仓库等)进行连接,通过...

20310

一文掌握最新数据湖方案Spark+Hadoop+Hudi+Hive整合案例实践总结

用户9421738

大数据生态发展数年,各种组件版本迭代升级在所难免。组件之间、不同版本之间的适配整合升级,尤为重要。本文主要讲述当前火热的数据湖方案Spark+Hadoop+Hu...

12710

腾讯云首发大数据高性能计算引擎Meson,支持三大产品线性能升级

腾讯QQ大数据

目前, Meson 已登陆腾讯云数据湖、检索分析服务、云数据仓库三大业务线,为企业在湖仓一体分析、向量检索、海量数据离线计算等业务场景带来卓越的性能表现。

37510

Apache Hudi - 我们需要的开放数据湖仓一体平台

ApacheHudi

毋庸置疑,Hudi 是一个非常成功和有影响力的开源项目,它已经为许多公司提供了 7+ 年,在云上管理多个 EB。但考虑到我们所处的位置以及市场上人为的双头垄断叙...

21910

数据湖在快手的应用实践

ApacheHudi

导读 本文将分享数据湖在快手的应用实践。文章从业务使用方的视角,全面回顾了数据湖(Hudi)在快手内部的应用推广历程,给业务开发带来的效率提升和成本优化,以及在...

14610

国内顶级汽车制造厂的创新实践:如何利用实时数据湖为更多业务提供新鲜数据?

Tapdata

充分考虑到影响自身 IT 生产力发展的主要原因,该车企考虑采纳新一代实时数据湖方案,用于实时接收、存储和处理来自多个数据源的数据存储系统。与传统数据湖不同,实时...

8510

Apache Paimon要赢了?湖仓一体实时化时代全面开启!

王知无-import_bigdata

摘要:本文整理自阿里云开源大数据平台负责人王峰(莫问)老师在5月16日 Streaming Lakehouse Meetup · Online 上的分享,主要介...

1.7K10

基于 XTable 的 Dremio Lakehouse分析

ApacheHudi

如今,数据湖仓一体架构正变得无处不在,组织越来越多地采用开放表格式,例如 Apache Hudi、Apache Iceberg 和 Delta Lake 用于其...

16410

相关产品

  • 数据湖

    数据湖是一个集中式存储池,可对接多种数据源,无缝对接各种计算分析和机器学习平台

领券