首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

将 Oozie 迁移到 CDP

将 Oozie 数据迁移到 CDP 后,您必须首先配置 Oozie,然后将自定义 ShareLib jar 迁移到您的新集群。

您必须将 Oozie 配置为使用不同的 CDP 服务,包括 Sqoop 操作、Yarn 作业和 HDFS HA。有关配置这些服务的信息,请参阅配置 Oozie。

笔记

默认情况下,Oozie 服务安排内部作业从数据库中清除所有早于 30 天的 Oozie 工作流。但是,在协调器完成之前,与长时间运行的协调器相关联的操作不会清除。Cloudera 建议您使用空数据库为 CDP 配置 Oozie。要查看旧数据,您可以备份并对该数据运行 SQL 查询。您必须重新创建长时间运行的协调器作业,因为 CDP 环境与 HDP 和 CDH 的环境不同。

程序

配置 Oozie 后,您必须将自定义 ShareLib jar 迁移到新集群。

从 HDP 或 CDH 集群复制 Oozie ShareLib jar:

cp /user/oozie/share/lib/lib_/

Oozie ShareLib 的位置在 HDP、CDH 和 CDP 环境中是相同的。

将 ShareLib 粘贴到 CDP 环境的新文件系统中。

paste /user/oozie/share/lib/lib_/

笔记

这些文件必须存在于存储(如 HDFS、S3 等)上,而不是存在于您安装 Oozie 的主机上。

执行 ShareLib 更新:

oozie admin -oozie -sharelibupdate

迁移自定义 ShareLib jar 后,更新 DFS 路径、JDBC URL(例如 Hive)等的工作流 XML 文件,以管理新环境。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20211008A04AWH00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券