用oozie命令行的方式在yarn上运行spark任务

注意:杀死yarn进程的命令 yarn application -kill applicationID

1.做这个实验之前你的服务器上最好装了cdh集群,以及添加必要的组件,如hadoop,oozie,spark,yarn等。 2.需要准备一个关于spark的demo架包,我写的是WordCount功能的jar,网上关于这个的一大堆。

3.准备一个job.propertie和workflow.xml,内容如下

job.properties

workflow.xml

3.把需要的配置文件上传到你配置的hdfs路径上面,我配置的是hdfs://ctrl241:8020/usr/java这个目录下面

4.然后在服务器上执行如下命令:

5.打开oozie的界面

6.查看yarn的界面

7.查看yarn的日志文件

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏散尽浮华

Docker容器学习梳理--基础环境安装

以下是centos系统安装docker的操作记录 1)第一种方法:采用系统自带的docker安装,但是这一般都不是最新版的docker 安装epel源 [roo...

2395
来自专栏bboysoul

在树莓派上搭建docker仓库

搭建docker仓库要使用官方的registry镜像,但是官方的registry镜像是不支持arm的,所以不能使用官方的registry镜像,但是还是有人制作出...

982
来自专栏流媒体

Linux下glibc升级

762
来自专栏云知识学习

安装RealVnc实现桌面登录Linux服务器

1、检出是否安装VNC rpm -q tigervnc tigervnc-server

42311
来自专栏散尽浮华

libc.so.6: version 'GLIBC_2.14' not found报错提示的解决方案

线上一台服务器在执行leveldb程序的时候,报错:"libc.so.6: version `GLIBC_2.14' not found"。 排查原因及解决方法...

5024
来自专栏A周立SpringCloud

Docker系列教程02-Docker安装(CentOS7/Ubuntu/macOS/Windows)

第二章 Docker安装 2.1 CentOS 2.1.1 系统要求 CentOS 7或更高版本 centos-extras 仓库必须处于启用状态,该仓库默认启...

38212
来自专栏JavaEE

创建maven项目失败的解决办法

36111
来自专栏WindCoder

CentOS安装LNMPA

网上这类教程太多了,此处仅作为一个常用命令的记录,详细教程会在参考资料中给出地址,有兴趣的可以去看一下。

501
来自专栏电光石火

mysql用户管理

服务器上mysql的用户有两种: 1.  本地用户   从本机连接mysql,例如: mysql部署在A服务器上,从A上连接mysql的用户 2.  远...

1975
来自专栏青枫的专栏

Java的GUI窗体出现乱码解决方法

  用java做一个图形化界面的程序,在Eclipse上运行后中文显示乱码,如下图所示:

1431

扫码关注云+社区