Paimon新版本核心特性和生产实践解读

最近Apche Paimon发布了最新版本0.7.0，在这个版本中，Paimon对一些新特性进行了增强。

Paimon在数据湖领域发展迅速，未来会在整个数据开发领域占有很重要的地位，今天我们来盘点一下当前能力的特点以及在生产环境中的使用情况。

Look up join

在实时数据开发领域，Look up join一般被认为等效于「维度表关联」。在一些企业的分享中，利用Paimon进行维度表关联，是一个比较常见的方式或者是未来的规划。

在Paimon的最新版本中，针对Look up join做了一些优化如下：

修复了lookup join 不能正确处理维表的 sequence field 问题。
基于 Paimon 的 hash lookup join，添加了 primary key partial lookup 功能。
通过并行读取文件和批加载的方式，加快了维表的初始化数据加载速度。

维度表关联在生产环境中是一个经常被提及和使用的能力，但是目前根据个人经验，利用Paimon/Hudi进行维度表关联目前不是一个很好的选择。主要的不足包括：Paimon/Hudi这样的表本身并不适合存储维度数据，有更好的选择例如Hbase/Redis或者基于这两个框架开发的其他高速存储；此外，维度表关联在复杂/大数据规模下问题非常多，例如缓存命中率/缓存时间/加载频率/访问限速等等，这些问题在大数据量下会被放大，是不得不解决的问题。在很多公司的生产环境针对维度表优化是一个很重要的课题。

所以，大家需要谨慎评估使用湖表的look up join能力。

CDC能力

大家要特别注意的是，CDC能力分两个部分：

• 第一，CDC入Paimon

这个能力是一个基础能力，Paimon在新的CDC接入支持上越来越完善，这个是各类型湖表都在持续完善的能力。

CDC数据入湖在时效/存储/计算成本上都会有独特的优势，大家可以持续关注。

• 第二，Paimon CDC能力

这个能力未来是否具备，大家可以持续关注，一旦Paimon具备的CDC能力，未来在技术架构上会有巨大的改变。Paimon将同时具备批读和流读能力，会在某些场景下改变现有的技术架构，那就真的是未来可期。

完善对接Spark/Hive

在结合Spark/Hive方面，能力不断完善，这也是Paimon这类湖表框架未来被更广泛使用的基础。

此外还有一些功能上的改进，例如支持 level0FileCount，它可以用于查看 compaction 作业的进度；time travel能力增强等等。

总之，大家持续关注Paimon社区的发展，未来在生产环境会有更广泛和深入的应用。