将 Oozie 迁移到 CDP

这是CDH/HDP/Apache Hadoop迁移到CDP系列的博客，如对迁移感兴趣，请关注该系列之前博客《使用 Replication Manager 迁移到CDP 私有云基础》、《将数据迁移到CDP 私有云基础的数据迁移用例》、《将Hive数据迁移到CDP》、《将 Kudu 数据迁移到 CDP》、《将 HBase 迁移到 CDP》、《将 Accumulo 迁移到 CDP》、《安全和治理迁移到CDP》。

将 Oozie 数据迁移到 CDP 后，您必须首先配置 Oozie，然后将自定义 ShareLib jar 迁移到您的新集群。

您必须将 Oozie 配置为使用不同的 CDP 服务，包括 Sqoop 操作、Yarn 作业和 HDFS HA。有关配置这些服务的信息，请参阅配置 Oozie。

笔记

默认情况下，Oozie 服务安排内部作业从数据库中清除所有早于 30 天的 Oozie 工作流。但是，在协调器完成之前，与长时间运行的协调器相关联的操作不会清除。Cloudera 建议您使用空数据库为 CDP 配置 Oozie。要查看旧数据，您可以备份并对该数据运行 SQL 查询。您必须重新创建长时间运行的协调器作业，因为 CDP 环境与 HDP 和 CDH 的环境不同。

程序

配置 Oozie 后，您必须将自定义 ShareLib jar 迁移到新集群。

1. 从 HDP 或 CDH 集群复制 Oozie ShareLib jar：

cp /user/oozie/share/lib/lib_{TIMESTAMP}/{COMPONENT}

Oozie ShareLib 的位置在 HDP、CDH 和 CDP 环境中是相同的。

1. 将 ShareLib 粘贴到 CDP 环境的新文件系统中。

paste /user/oozie/share/lib/lib_{TIMESTAMP}/{COMPONENT}

笔记

这些文件必须存在于存储（如 HDFS、S3 等）上，而不是存在于您安装 Oozie 的主机上。

1. 执行 ShareLib 更新：

oozie admin -oozie {OOZIE_URL} -sharelibupdate

迁移自定义 ShareLib jar 后，更新 DFS 路径、JDBC URL（例如 Hive）等的工作流 XML 文件，以管理新环境。

原文链接：https://docs.cloudera.com/cdp-private-cloud-upgrade/latest/data-migration/topics/cdp-data-migration-oozie-migration.html