如何启用Oozie的HA

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。 Fayson的github:https://github.com/fayson/cdhproject 提示:代码块部分可以左右滑动查看噢

1.文档编写目的


Oozie是基于Hadoop的作业调度工具,工作流引擎,在实际工作中,遇到对数据进行一连串的操作的时候很实用,不需要自己写一些处理代码了,只需要定义好各个action,然后把他们串在一个工作流里面就可以自动执行了。但Oozie在实际生产过程中,也会有单点故障问题,所以我们也需要考虑部署多个Oozie Server从而实现Oozie的HA。Oozie的HA是Acive-Active的模式,通过负载均衡如HAProxy来实现。本篇文章中主要讲述如何启用Oozie Server的HA。

  • 内容概述

1.环境准备

2.启用Oozie服务HA

3.测试Oozie服务HA

  • 测试环境

1.操作系统RedHat7.3

2.CM和CDH版本为5.13.1

3.集群已启用Kerberos

2.环境准备


在集群中选择一台服务器作为OozieServer高可用节点

1.安装Mysql驱动

[root@ip-172-31-30-69 ~]# mkdir /usr/share/java
[root@ip-172-31-30-69 ~]# scp mysql-connector-java-5.1.34.jar /usr/share/java

(可左右滑动)

2.创建MySQL驱动的软链

[root@ip-172-31-30-69 ~]# cd /usr/share/java/
[root@ip-172-31-30-69 java]# ln -s mysql-connector-java-5.1.34.jar mysql-connector-java.jar

(可左右滑动)

3.安装Haproxy并配置oozie server

Haproxy的配置如下:

#---------------------------------------------------------------------
# Example configuration for a possible web application.  See the
# full configuration options online.
#
#   http://haproxy.1wt.eu/download/1.4/doc/configuration.txt
#
#---------------------------------------------------------------------
#---------------------------------------------------------------------
# Global settings
#---------------------------------------------------------------------
global
    log         127.0.0.1 local2
    chroot      /var/lib/haproxy
    pidfile     /var/run/haproxy.pid
    maxconn     4000
    user        haproxy
    group       haproxy
    daemon
    # turn on stats unix socket
    stats socket /var/lib/haproxy/stats
#---------------------------------------------------------------------
# common defaults that all the 'listen' and 'backend' sections will
# use if not designated in their block
#---------------------------------------------------------------------
defaults
    mode                    http
    log                     global
    option                  httplog
    option                  dontlognull
    #option http-server-close
    #option forwardfor       except 127.0.0.0/8
    option                  redispatch
    retries                 3
    timeout http-request    10s
    timeout queue           1m
    timeout connect         10s
    timeout client          1m
    timeout server          1m
    timeout http-keep-alive 10s
    timeout check           10s
    maxconn                 3000
listen stats
    bind 0.0.0.0:1080
    mode http
    option httplog
    maxconn 5000
    stats refresh 30s
    stats  uri /stats 
listen ooziebalancer
    bind 0.0.0.0:11001
    mode tcp
    option tcplog
    balance leastconn
    server ip-172-31-30-69.ap-southeast-1.compute.internal ip-172-31-30-69.ap-southeast-1.compute.internal:11000 check
    server ip-172-31-16-68.ap-southeast-1.compute.internal ip-172-31-16-68.ap-southeast-1.compute.internal:11000 check

(可左右滑动)

具体Haproxy的安装及配置这里就不再详细描述,可以参考Fayson前面的文章

《如何使用HAProxy实现Impala的负载均衡》

《如何使用HAProxy实现HiveServer2负载均衡》

《如何使用HAProxy实现Kerberos环境下的Impala负载均衡》

《如何在Kerberos环境下使用Haproxy实现HiveServer2负载均衡》

3.启用Oozie服务HA


1.使用管理员登录Cloudera Manager的WEB界面,进入oozie服务

2.点击“操作”->”启用High Availability”

3.进入启用Oozie的HA引导界面

4.选择已安装MySQL驱动的节点作为Oozie Server

5.点击“继续”,填写Oozie HA时使用的Load Balancer地址(这里就是Haproxy服务所在地址)

ip-172-31-16-68.ap-southeast-1.compute.internal:11002

(可左右滑动)

6.点击“继续”,启用Oozie的High Availability

7.启用成功

点击“完成”,至此已完成Oozie Server的HA配置。

4.Oozie服务HA测试


1.在Hue中创建一个SparkWorkflow测试工作流

2.提交作业

3.在Workflow运行的过程中停掉其中一个OozieServer服务

4.作业运行成功

Yarn应用程序显示

5.总结


  • 集群的元数据存在在外部数据库MySQL中,在部署Oozie服务的节点需要安装MySQL的JDBC驱动
  • Oozie启用高可用时需要使用Haproxy或Keepalived等方式实现Oozie服务的高可用,这里使用Haproxy方式实现。
  • Load Balancer配置为Haproxy服务所在host及监听的11002端口

提示:代码块部分可以左右滑动查看噢 为天地立心,为生民立命,为往圣继绝学,为万世开太平。 温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。

推荐关注Hadoop实操,第一时间,分享更多Hadoop干货,欢迎转发和分享。

原创文章,欢迎转载,转载请注明:转载自微信公众号Hadoop实操

原文发布于微信公众号 - Hadoop实操(gh_c4c535955d0f)

原文发表时间:2018-02-25

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Hadoop实操

8.如何使用RedHat7的OpenLDAP和Sentry权限集成

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。 Fayson的github:https://github.com/fayson/cdhproje...

51211
来自专栏Hadoop实操

如何使用Sentry管理Hive外部表(补充)

/extwarehouse/student_hive数据目录不存,在创建外部表时自动生成,且数据目录属主为hive。

4304
来自专栏挖掘大数据

通过Sqoop将MySQL数据导入到HDFS/HBase

本文将利用Sqoop将MySQL海量测试数据导入到HDFS和HBase。

3520
来自专栏Hadoop实操

如何在CDH启用Kerberos的情况下安装及使用Sentry(一)

本文档主要讲述如何在启用Kerberos的CDH集群中安装配置及使用Sentry。

8736
来自专栏Hadoop实操

如何使用Lily HBase Indexer对HBase中的数据在Solr中建立索引

4603
来自专栏Hadoop实操

如何在CDH未启用认证的情况下安装及使用Sentry

CDH平台中的安全,认证(Kerberos/LDAP)是第一步,授权(Sentry)是第二步。如果要启用授权,必须先启用认证。但在CDH平台中给出了一种测试模式...

2.4K8
来自专栏磨磨谈

Cephfs的快照功能

Cephfs的快照功能在官网都很少提及,因为即使开发了很多年,但是由于cephfs的复杂性,功能一直没能达到稳定,这里,只是介绍一下这个功能,怎么使用,并且建议...

1812
来自专栏Hadoop实操

如何在CDH集群安装Anaconda&搭建Python私有源

Anaconda是一个用于科学计算的Python发行版,支持 Linux, Mac, Windows系统,提供了包管理与环境管理的功能,可以很方便地解决多版本p...

1.5K8
来自专栏Hadoop实操

如何在Kerberos环境下使用Haproxy实现HiveServer2负载均衡

前面Fayson介绍了《如何使用HAProxy实现HiveServer2负载均衡》,本文主要介绍如何使用HAProxy实现Kerberos环境下HiveServ...

4563
来自专栏PPV课数据科学社区

【工具】大数据在线分析利器:Hue

? Hue百科: Hue 是一种基于Apche hadoop基础平台的在线开源数据分析接口,参见 gethue.com ? Hue的主要功能: 提供SQL 接...

4666

扫码关注云+社区

领取腾讯云代金券