湖仓一体-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

湖仓一体

专栏成员

2

文章

3119

阅读量

1

订阅数

Flink进行Paimon写入源码分析

flink 数据湖源码分析

Paimon的前身是Flink-Table-Store，希望提供流批一体的存储，提供一定的OLAP查询能力（基于列式存储），做到毫秒级别的实时流式读取。Flink-Table-Store希望能够支持Flink SQL的全部概念，能够结合Flink SQL提供DB级别体验，并且支持大规模的更新。Flink-Table-Store希望能够结合Flink，实现完整的流批一体体验（计算+存储），同时拓展Flink-Table-Store的生态，升级为Paimon，来支持更多大数据引擎的查询/写入。如果我们希望深度使用Paimon，并充分利用Paimon的特性，那么了解Flilnk写入Paimon的过程十分重要，本文希望通过源码分析的方式带大家充分了解Flink写入Paimon的完整过程。

2023-08-15

1.7K0

Flink进行Hudi写入源码分析

flink 数据湖源码分析

Flink是流计算领域的佼佼者，Hudi在数据湖领域的热度一直很高，两者的结合也是很多公司的选择。如果要深入了解Flink + Hudi技术的应用或者性能调优，那么了解源码中的原理会对我们有很大的帮助，本文主要围绕着Flink对Hudi的写入流程进行分析，从而去理解Hudi中的各种核心概念，像Copy-on-Write（COW）、Merge-on-Read（MOR）、File Layouts（文件布局）、Timeline（时间线）等，本文默认大家对这些概念有所了解，在文章中的代码分析时会涉及到这些概念将不会进行详细的讲解。

2023-08-08

1.4K0

没有更多了

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态