用oozie命令行的方式在yarn上运行spark任务

注意:杀死yarn进程的命令 yarn application -kill applicationID

1.做这个实验之前你的服务器上最好装了cdh集群,以及添加必要的组件,如hadoop,oozie,spark,yarn等。 2.需要准备一个关于spark的demo架包,我写的是WordCount功能的jar,网上关于这个的一大堆。

3.准备一个job.propertie和workflow.xml,内容如下

job.properties

workflow.xml

3.把需要的配置文件上传到你配置的hdfs路径上面,我配置的是hdfs://ctrl241:8020/usr/java这个目录下面

4.然后在服务器上执行如下命令:

5.打开oozie的界面

6.查看yarn的界面

7.查看yarn的日志文件

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏专注数据中心高性能网络技术研发

如何解压RPM包

Mellanox的驱动源码在centos7下面是使用RPM包封装的,需要解压此格式的包来获取源文件 RPM包括是使用cpio格式打包的,因此可以先转成cpio然...

2505
来自专栏流浪猫的golang

区块链私链节点的加入

的文件 将复制的“enode://**” 复制到里面 然后添加上创世块节点所在网络的ip和端口,端口默认是30303,如果是本机:

691
来自专栏企鹅号快讯

建立SSH之免密登陆

纯手工打造每一篇开源资讯与技术干货,数十万程序员和Linuxer已经关注。 Linux技术交流QQ群:2659793(十二月最新!!) 以下进入正文 忽略ssh...

2008
来自专栏运维小白

Docker镜像管理

Docker镜像管理 docker pull centos//可以下载centos镜像,速度很慢 配置docker加速器,参考链接 vi /etc/docker...

2885
来自专栏Youngxj

分享一个自用的批处理bat脚本

2146
来自专栏深度学习计算机视觉

ubuntu下curses中文输出乱码问题解决

在写Linux小游戏的时候,遇到了curses中文输出乱码,通过查阅资料和实践证明,找到了解决办法 第一步:检查头文件 将<curses.h>改成<ncurse...

2505
来自专栏张伟博客

Centos7端口转发采用firewall-cmd让80端口转发至8080端口

一:首先来了解下Centos7新增的命令工具网络防火墙:firewall-cmd,非常强大!

792
来自专栏小夜博客

一键安装 ShadowSocks

42815
来自专栏奇梦博客

AppNode如何安装使用PureFTPd服务器 原创 Linux AppNode

1022
来自专栏小狼的世界

Ubuntu下安装IE

做网页开发,IE是不可忽视的用户群体,所以需要在Linux下也有IE才能方便调试,下面是安装步骤:

803

扫码关注云+社区