如何启用Oozie的HA

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。

Fayson的github:https://github.com/fayson/cdhproject

提示:代码块部分可以左右滑动查看噢

1.文档编写目的

Oozie是基于Hadoop的作业调度工具,工作流引擎,在实际工作中,遇到对数据进行一连串的操作的时候很实用,不需要自己写一些处理代码了,只需要定义好各个action,然后把他们串在一个工作流里面就可以自动执行了。但Oozie在实际生产过程中,也会有单点故障问题,所以我们也需要考虑部署多个Oozie Server从而实现Oozie的HA。Oozie的HA是Acive-Active的模式,通过负载均衡如HAProxy来实现。本篇文章中主要讲述如何启用Oozie Server的HA。

内容概述

1.环境准备

2.启用Oozie服务HA

3.测试Oozie服务HA

测试环境

1.操作系统RedHat7.3

2.CM和CDH版本为5.13.1

3.集群已启用Kerberos

2.环境准备

在集群中选择一台服务器作为OozieServer高可用节点

1.安装Mysql驱动

(可左右滑动)

2.创建MySQL驱动的软链

(可左右滑动)

3.安装Haproxy并配置oozie server

Haproxy的配置如下:

(可左右滑动)

具体Haproxy的安装及配置这里就不再详细描述,可以参考Fayson前面的文章

《如何使用HAProxy实现Impala的负载均衡》

《如何使用HAProxy实现HiveServer2负载均衡》

《如何使用HAProxy实现Kerberos环境下的Impala负载均衡》

《如何在Kerberos环境下使用Haproxy实现HiveServer2负载均衡》

3.启用Oozie服务HA

1.使用管理员登录Cloudera Manager的WEB界面,进入oozie服务

2.点击“操作”->”启用High Availability”

3.进入启用Oozie的HA引导界面

4.选择已安装MySQL驱动的节点作为Oozie Server

5.点击“继续”,填写Oozie HA时使用的Load Balancer地址(这里就是Haproxy服务所在地址)

(可左右滑动)

6.点击“继续”,启用Oozie的High Availability

7.启用成功

点击“完成”,至此已完成Oozie Server的HA配置。

4.Oozie服务HA测试

1.在Hue中创建一个SparkWorkflow测试工作流

2.提交作业

3.在Workflow运行的过程中停掉其中一个OozieServer服务

4.作业运行成功

Yarn应用程序显示

5.总结

集群的元数据存在在外部数据库MySQL中,在部署Oozie服务的节点需要安装MySQL的JDBC驱动

Oozie启用高可用时需要使用Haproxy或Keepalived等方式实现Oozie服务的高可用,这里使用Haproxy方式实现。

Load Balancer配置为Haproxy服务所在host及监听的11002端口

提示:代码块部分可以左右滑动查看噢

为天地立心,为生民立命,为往圣继绝学,为万世开太平。

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。

  • 发表于:
  • 原文链接http://kuaibao.qq.com/s/20180225G0JGYW00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。

扫码关注云+社区

领取腾讯云代金券