学习
实践
活动
专区
工具
TVP
写文章

将 Oozie 迁移到 CDP

将 Oozie 数据迁移到 CDP 后,您必须首先配置 Oozie,然后将自定义 ShareLib jar 迁移到您的新集群。

您必须将 Oozie 配置为使用不同的 CDP 服务,包括 Sqoop 操作、Yarn 作业和 HDFS HA。有关配置这些服务的信息,请参阅配置 Oozie。

笔记

默认情况下,Oozie 服务安排内部作业从数据库中清除所有早于 30 天的 Oozie 工作流。但是,在协调器完成之前,与长时间运行的协调器相关联的操作不会清除。Cloudera 建议您使用空数据库为 CDP 配置 Oozie。要查看旧数据,您可以备份并对该数据运行 SQL 查询。您必须重新创建长时间运行的协调器作业,因为 CDP 环境与 HDP 和 CDH 的环境不同。

程序

配置 Oozie 后,您必须将自定义 ShareLib jar 迁移到新集群。

从 HDP 或 CDH 集群复制 Oozie ShareLib jar:

cp /user/oozie/share/lib/lib_/

Oozie ShareLib 的位置在 HDP、CDH 和 CDP 环境中是相同的。

将 ShareLib 粘贴到 CDP 环境的新文件系统中。

paste /user/oozie/share/lib/lib_/

笔记

这些文件必须存在于存储(如 HDFS、S3 等)上,而不是存在于您安装 Oozie 的主机上。

执行 ShareLib 更新:

oozie admin -oozie -sharelibupdate

迁移自定义 ShareLib jar 后,更新 DFS 路径、JDBC URL(例如 Hive)等的工作流 XML 文件,以管理新环境。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20211008A04AWH00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

关注

腾讯云开发者公众号
10元无门槛代金券
洞察腾讯核心技术
剖析业界实践案例
腾讯云开发者公众号二维码

扫码关注腾讯云开发者

领取腾讯云代金券