前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >如何在HUE上创建oozie Coordinator定时任务流

如何在HUE上创建oozie Coordinator定时任务流

作者头像
create17
发布2019-03-12 16:59:09
1.9K0
发布2019-03-12 16:59:09
举报

HUE版本:3.12.0 前言 通过浏览器访问ip:8888登陆HUE界面,首次登陆会提示你创建用户,这里使用账号/密码:hue/hue登陆。

一、Coordinator简介

Coordinator能够将每个工作流Job作为一个动作(Action)来运行,相当于工作流定义中的一个执行节点(我们可以理解为工作流的工作流),这样就能够将多个工作流Job组织起来,称为Coordinator Job,并指定触发时间和频率,还可以配置数据集、并发数等。一个Coordinator Job包含了在Job外部设置执行周期和频率的语义,类似于在工作流外部增加了一个协调器来管理这些工作流的工作流Job的运行。

二、业务场景

定时执行某一个Workflow

三、调整时区

如果要执行Coordinator定时任务,一定要调整HUEOozie的时区。

1. 调整HUE的时区

打开hue.ini配置文件,将 time_zone=America/Los_Angeles 修改为 time_zone=Asia/Shanghai,重启HUE服务。

2. 调整Oozie的时区

确保在oozie-site.xml文件内添加oozie.processing.timezone=GMT+0800,重启Oozie服务。

四、创建并执行Coordinator

点击“工作流程>编辑器>Coordinator”,然后点击“创建”,如下图所示:

选择Workflow,调整频率,可以选择从什么日期到什么日期的哪个时间点执行Workflow。这里选择之前创建的Hive SQL,如下图所示:

比如,使Workflow在2018-10-23 09:40~2018-10-25 21:29的周期内,每天的10:00执行Workflow,如下图所示:

创建好Coordinator之后,点击执行即可。

五、查看执行结果

Coordinator每天上午10:00开始执行Workflow,一共执行了三次。如下图所示:

六、总结

Oozie Coordinator可以定时执行Workflow,不过前提条件是要调整OozieHUE的时区。

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2019-02-25,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 大数据实战演练 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 一、Coordinator简介
  • 二、业务场景
  • 三、调整时区
    • 1. 调整HUE的时区
      • 2. 调整Oozie的时区
      • 四、创建并执行Coordinator
      • 五、查看执行结果
      • 六、总结
      领券
      问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档