如何使用Oozie API接口向Kerberos环境的CDH集群提交Spark作业

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。 Fayson的github:https://github.com/fayson/cdhproject 提示:代码块部分可以左右滑动查看噢

1.文档编写目的


在CDH集群外的节点向集群提交Spark作业的方式有多种,前面Fayson介绍了Livy相关的文章主要描述如何在集群外节点通过RESTful API接口向CDH集群提交Spark作业以及《如何使用Oozie API接口向非Kerberos环境的CDH集群提交Spark作业》,本篇文章主要介绍使用Oozie的API接口向Kerberos集群提交Spark作业。

Livy相关文章:

《Livy,基于Apache Spark的开源REST服务,加入Cloudera Labs》

《如何编译Livy并在非Kerberos环境的CDH集群中安装》

《如何通过Livy的RESTful API接口向非Kerberos环境的CDH集群提交作业》

《如何在Kerberos环境的CDH集群部署Livy》

《如何通过Livy的RESTful API接口向Kerberos环境的CDH集群提交作业》

  • 内容概述

1.环境准备

2.示例代码编写及测试

3.总结

  • 测试环境

1.CM和CDH版本为5.13.1

  • 前置条件

1.集群已启用Kerberos

2.环境准备及描述


1.我们将作业运行的jar包上传到HDFS目录

[root@ip-172-31-16-68 ~]# kinit fayson
Password for fayson@FAYSON.COM: 
[root@ip-172-31-16-68 ~]# klist
Ticket cache: FILE:/tmp/krb5cc_0
Default principal: fayson@FAYSON.COM
Valid starting       Expires              Service principal
02/22/2018 21:12:41  02/23/2018 21:12:41  krbtgt/FAYSON.COM@FAYSON.COM
        renew until 03/01/2018 21:12:41
[root@ip-172-31-16-68 ~]# 

(可左右滑动)

hadoop fs -mkdir -p /fayson/jars
hadoop fs -put /opt/cloudera/parcels/CDH/jars/spark-examples-1.6.0-cdh5.13.1-hadoop2.6.0-cdh5.13.1.jar /fayson/jars
hadoop fs -ls /fayson/jars

(可左右滑动)

这里Fayson使用的Spark自带的示例来测试。

2.定义一个Spark Action的workflow.xml文件,内容如下:

<workflow-app name="My Workflow" xmlns="uri:oozie:workflow:0.5">
    <start to="spark-989b"/>
    <kill name="Kill">
        <message>Action failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
    </kill>
    <action name="spark-989b">
        <spark xmlns="uri:oozie:spark-action:0.2">
            <job-tracker>${jobTracker}</job-tracker>
            <name-node>${nameNode}</name-node>
            <master>${master}</master>
            <mode>${mode}</mode>
            <name>${name}</name>
            <class>${class}</class>
            <jar>${jar}</jar>
            <spark-opts>${sparkOpts}</spark-opts>
            <arg>${arg}</arg>
            <file>${file}</file>
        </spark>
        <ok to="End"/>
        <error to="Kill"/>
    </action>
    <end name="End"/>
</workflow-app>

(可左右滑动)

注意:workflow.xml文件中使用的参数配置为动态参数,会在后面的代码中指定该参数的值。

3.将定义好的workflow.xml文件上传至HDFS的

/user/fayson/oozie/testoozie目录下

hadoop fs -mkdir -p /user/fayson/oozie/testoozie
hadoop fs -put workflow.xml /user/fayson/oozie/testoozie
hadoop fs -ls /user/fayson/oozie/testoozie

(可左右滑动)

4.准备JAAS文件oozie-login.conf,内容如下

com.sun.security.jgss.initiate {
    com.sun.security.auth.module.Krb5LoginModule required
    storeKey=true
    useKeyTab=true
    debug=true
    keyTab="/Volumes/Transcend/keytab/fayson.keytab"
    principal="fayson@FAYSON.COM";
};

(可左右滑动)

3.创建Maven示例工程


1.使用Maven创建Java工程

2.工程pom.xml文件内容如下

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <parent>
        <artifactId>cdh-project</artifactId>
        <groupId>com.cloudera</groupId>
        <version>1.0-SNAPSHOT</version>
    </parent>
    <modelVersion>4.0.0</modelVersion>
    <artifactId>oozie-demo</artifactId>
    <packaging>jar</packaging>
    <name>oozie-demo</name>
    <url>http://maven.apache.org</url>
    <properties>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    </properties>
    <dependencies>
        <dependency>
            <groupId>org.apache.httpcomponents</groupId>
            <artifactId>httpclient</artifactId>
            <version>4.5.4</version>
        </dependency>
        <dependency>
            <groupId>net.sourceforge.spnego</groupId>
            <artifactId>spnego</artifactId>
            <version>7.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.oozie</groupId>
            <artifactId>oozie-client</artifactId>
            <version>4.1.0</version>
        </dependency>
    </dependencies>
</project>

(可左右滑动)

4.编写Oozie示例代码


1.编写SparkWorkflowDemo.java,示例代码如下

package com.cloudera.kerberos;
import org.apache.oozie.client.*;
import java.util.List;
import java.util.Properties;
/**
 * package: com.cloudera.nokerberos
 * describe: 使用Oozie-client的API接口向Kerberos集群提交Java程序
 * creat_user: Fayson
 * email: htechinfo@163.com
 * creat_date: 2018/2/23
 * creat_time: 上午10:20
 * 公众号:Hadoop实操
 */
public class SparkWorkflowDemo {
    private static String oozieURL = "http://ip-172-31-16-68.ap-southeast-1.compute.internal:11000/oozie";
    public static void main(String[] args) {
        System.setProperty("java.security.krb5.conf", "/Volumes/Transcend/keytab/krb5.conf");
        System.setProperty("javax.security.auth.useSubjectCredsOnly", "false");
        System.setProperty("ssun.security.jgss.debug", "true"); //Kerberos Debug模式
        System.setProperty("java.security.auth.login.config", "/Volumes/Transcend/keytab/oozie-login.conf");
        System.setProperty("user.name", "fayson");
        AuthOozieClient oozieClient = new AuthOozieClient(oozieURL, AuthOozieClient.AuthType.KERBEROS.name());
        oozieClient.setDebugMode(1);
        try {
            System.out.println(oozieClient.getServerBuildVersion());
            Properties properties = oozieClient.createConfiguration();
            properties.put("oozie.wf.application.path", "${nameNode}/user/fayson/oozie/testoozie");
            properties.put("name", "MyfirstSpark");
            properties.put("nameNode", "hdfs://ip-172-31-16-68.ap-southeast-1.compute.internal:8020");
            properties.put("oozie.use.system.libpath", "True");
            properties.put("master", "yarn-cluster");
            properties.put("mode", "cluster");
            properties.put("class", "org.apache.spark.examples.SparkPi");
            properties.put("arg", "100");
            properties.put("sparkOpts", "--num-executors 4 --driver-memory 2g --driver-cores 1 --executor-memory 2g --executor-cores 1");
            properties.put("jar", "${nameNode}/fayson/jars/spark-examples-1.6.0-cdh5.13.1-hadoop2.6.0-cdh5.13.1.jar");
            properties.put("oozie.libpath", "${nameNode}/fayson/jars");
            properties.put("jobTracker", "ip-172-31-16-68.ap-southeast-1.compute.internal:8032");
            properties.put("file", "${nameNode}/fayson/jars");
            //运行workflow
            String jobid = oozieClient.run(properties);
            System.out.println(jobid);
            //等待10s
            new Thread(){
                public void run() {
                    try {
                        Thread.sleep(10000l);
                    } catch (InterruptedException e) {
                        e.printStackTrace();
                    }
                }
            }.start();
            //根据workflow id获取作业运行情况
            WorkflowJob workflowJob = oozieClient.getJobInfo(jobid);
            //获取作业日志
            System.out.println(oozieClient.getJobLog(jobid));
            //获取workflow中所有ACTION
            List<WorkflowAction> list = workflowJob.getActions();
            for (WorkflowAction action : list) {
                //输出每个Action的 Appid 即Yarn的Application ID
                System.out.println(action.getExternalId());
            }
        } catch (OozieClientException e) {
            e.printStackTrace();
        }
    }
}

(可左右滑动)

5.示例运行及验证


1.运行SparkWorkflowDemo代码,向CDH集群提交Spark作业

2.登录CM进入Yarn服务的“应用程序”菜单查看

3.打开Yarn的8088 Web界面查看

可以看到作业已运行成功,到此已完成了通过OozieAPI接口创建workflow并运行的示例演示。

6.总结


  • 通过Oozie API提交作业,需要先定义好workflow.xml文件
  • 参数传递通过在代码里面调用oozieClient.createConfiguration()创建一个Properties对象将K,V值存储并传入oozieClient.run(properties)中。
  • 在指定HDFS上运行的jar或workflow的路径时需要带上HDFS的路径,否则默认会找到本地的目录
  • 向Kerberos集群提交作业需要在程序中加载JAAS配置
  • Oozie-client提供了Kerberos认证的AuthOozieClient API接口

GitHub地址:

https://github.com/fayson/cdhproject/blob/master/ooziedemo/src/main/java/com/cloudera/kerberos/SparkWorkflowDemo.java

https://github.com/fayson/cdhproject/blob/master/ooziedemo/conf/workflow-spark-template.xml

https://github.com/fayson/cdhproject/blob/master/ooziedemo/conf/oozie-login.conf

提示:代码块部分可以左右滑动查看噢 为天地立心,为生民立命,为往圣继绝学,为万世开太平。 温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。

推荐关注Hadoop实操,第一时间,分享更多Hadoop干货,欢迎转发和分享。

原创文章,欢迎转载,转载请注明:转载自微信公众号Hadoop实操

本文分享自微信公众号 - Hadoop实操(gh_c4c535955d0f)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-02-24

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏农夫安全

Bwapp漏洞平台答案全解-A1(第三篇)

0x01 A1 - Injection(第三次) 1.21-SQL Injection - Stored (Blog) 输入:test','test')# ca...

67540
来自专栏刘望舒

自定义注解和解析器实现ButterKnife

相信绝大部分的Android开发者都曾使用过ButterKnife, 利用ButterKnife开发者可以快速的实现实体view与xml的绑定,此外还能绑定各种...

42860
来自专栏ml

spring设置全局异常处理器

1.spring设置全局异常,它的原理是向上捕获 spring.xml配置 <!--自定义全局异常处理器--> <bean id="globalE...

447150
来自专栏about云

Hadoop3.0: YARN Resource配置说明

问题导读 1.yarn默认情况下使用哪些资源? 2.Yarn如何实现扩展自定义资源? 3.自定义资源,可以在哪个配置文件中配置? 4.哪些配置可以在yarn-...

66260
来自专栏张戈的专栏

移动SEO分享:php自动提交复合型Sitemap到百度搜索

导读:本文分享的是移动 sitemap 协议说明及生成复合型 sitemap 的方法。所谓复合型就是指一个 sitemap.xml 既包含了 pc 页,也包含了...

48350
来自专栏张戈的专栏

php自动生成百度开放适配PC页-手机页pattern对应关系sitemap.xml

以前做百度开放适配一直是提交普通的 url 对应关系,这种方式有个缺点,就是必须每个页面的 url 关系都得兼顾,即有多少就得提交多少。 然而,很多网站并不是 ...

36490
来自专栏小灰灰

Java可以如何实现文件变动的监听

Java可以如何实现文件变动的监听 应用中使用logback作为日志输出组件的话,大部分会去配置 logback.xml 这个文件,而且生产环境下,直接去修改l...

40180
来自专栏张戈的专栏

解决WordPress Feed、RSS以及Sitemap.xml访问报错问题

今天,查看站长平台的 sitemap 抓取情况时,发现提示解析错误: ? 很纳闷的点开看了下: ? 这个 sitemap_baidu_sp.xml 是 site...

37240
来自专栏about云

Hadoop3.0集群安装知识

问题导读 1.本文是如何定义master的? 2.如何配置hadoop守护进程环境? 3.配置Hadoop守护进程需要哪些配置文件? 4.yarn-site配...

38770
来自专栏Java技术栈

厉害了,Servlet3的异步处理机制

Servlet3发布好几年了,又有多少人知道它的新特性呢?下面简单介绍下。 主要增加了以下特性: 1、异步处理支持 2、可插性支持 3、注解支持,零配置,可不...

332100

扫码关注云+社区

领取腾讯云代金券

年度创作总结 领取年终奖励