使用 Paimon Catalog

最近更新时间:2026-04-01 15:10:41

我的收藏

介绍

您可以在 Oceanus SQL 作业中配置 Paimon Catalog、查看 Paimon 元数据、使用 Paimon Catalog。将元数据信息保存到 Paimon Metastore 以后,在作业中无需再显式声明 DDL 语句,直接三段式引用元数据即可。

版本说明

Flink 版本
说明
1.13
不支持
1.14
不支持
1.16
支持
1.18
支持
1.20
暂不支持

操作说明

创建 Paimon Catalog

切换到 _dc,单击新建 Paimon Catalog


普通 COS 桶



COS 元数据加速桶

相比普通 COS 桶,需要填写具有相应 Warehouse 权限的用户名。


EMR

需要先登录 EMR 集群下载 Hadoop 集群的 hdfs-site.xml 文件,以获取下列配置中所需的参数值,参考 登录集群
HDFS 路径的形式为 hdfs://${dfs.nameservices}/${path}${dfs.nameservices} 的值可在 hdfs-site.xml 中查找,${path} 为要写入的数据目录。
如果是多 Master 的 EMR 集群需要上传 hdfs-site.xml 可以用下面的命令将它打成 jar 包上传,不能直接上传配置文件。
jar -cvf emr-xxx.jar hdfs-site.xml


Hive

Hive 需要上传配置 jar 包,可以参考 Hive 配置


引用 Paimon Catalog


CREATE TABLE IF NOT EXISTS `116-paimon-sink1`.`default`.`sink1` (
id INT PRIMARY KEY NOT ENFORCED, -- Paimon需要主键,id作为主键
name STRING
) WITH ();
Insert into `116-paimon-sink1`.`default`.`sink1`
Select * FROM `mysql-116`.`test927`.`test`;
Table Hints(可选)
通过 Hints 动态覆盖表的配置项,无需修改表定义即可临时调整参数。
示例:可设置 local-merge-buffer-size,在数据按桶分区之前对输入记录进行缓冲和合并。
-- Flink 1.13需要开启动态表选项(其他Flink版本不需要)
SET 'table.dynamic-table-options.enabled' = 'true';

Insert into `116-paimon-sink1`.`default`.`sink1` /*+ OPTIONS('local-merge-buffer-size' = '64mb') */
Select * FROM `mysql-116`.`test927`.`test`;
说明:
若需要添加多个参数,使用逗号分隔: /*+ OPTIONS( 'local-merge-buffer-size' = '64mb', 'write-buffer-size' = '256mb' ) */

修改 Paimon Catalog

不能修改 Catalog 名字和 Metastore 类型。


删除 Paimon Catalog

可以单击该按钮进行删除。
注意
删除之后,关联该 Catalog 的作业会出现启动失败。