用oozie命令行的方式在yarn上运行spark任务

注意:杀死yarn进程的命令 yarn application -kill applicationID

1.做这个实验之前你的服务器上最好装了cdh集群,以及添加必要的组件,如hadoop,oozie,spark,yarn等。 2.需要准备一个关于spark的demo架包,我写的是WordCount功能的jar,网上关于这个的一大堆。

3.准备一个job.propertie和workflow.xml,内容如下

job.properties

workflow.xml

3.把需要的配置文件上传到你配置的hdfs路径上面,我配置的是hdfs://ctrl241:8020/usr/java这个目录下面

4.然后在服务器上执行如下命令:

5.打开oozie的界面

6.查看yarn的界面

7.查看yarn的日志文件

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏我和未来有约会

Kit 3D 更新

Kit3D is a 3D graphics engine written for Microsoft Silverlight. Kit3D was inita...

2886
来自专栏张善友的专栏

Silverlight + Model-View-ViewModel (MVVM)

     早在2005年,John Gossman写了一篇关于Model-View-ViewModel模式的博文,这种模式被他所在的微软的项目组用来创建Expr...

3238
来自专栏落花落雨不落叶

canvas画简单电路图

80611
来自专栏杨龙飞前端

scrollto 到指定位置

2884
来自专栏张善友的专栏

Miguel de Icaza 细说 Mix 07大会上的Silverlight和DLR

Mono之父Miguel de Icaza 详细报道微软Mix 07大会上的Silverlight和DLR ,上面还谈到了Mono and Silverligh...

2997
来自专栏陈仁松博客

ASP.NET Core 'Microsoft.Win32.Registry' 错误修复

今天在发布Asp.net Core应用到Azure的时候出现错误InvalidOperationException: Cannot find compilati...

5188
来自专栏大内老A

The .NET of Tomorrow

Ed Charbeneau(http://developer.telerik.com/featured/the-net-of-tomorrow/) Exciti...

37710
来自专栏我和未来有约会

Silverlight第三方控件专题

这里我收集整理了目前网上silverlight第三方控件的专题,若果有所遗漏请告知我一下。 名称 简介 截图 telerik 商 RadC...

4355
来自专栏一个爱瞎折腾的程序猿

sqlserver使用存储过程跟踪SQL

USE [master] GO /****** Object: StoredProcedure [dbo].[sp_perfworkload_trace_s...

2810
来自专栏Golang语言社区

【Golang语言社区】GO1.9 map并发安全测试

var m sync.Map //全局 func maintest() { // 第一个 YongHuomap := make(map[st...

5368

扫码关注云+社区