Spark应用(app jar)发布到Hadoop集群的过程

记录了Spark,Hadoop集群的开启,关闭,以及Spark应用提交到Hadoop集群的过程,通过web端监控运行状态。

1.绝对路径开启集群

(每次集群重启,默认配置的hadoop集群中tmp文件被清空所以需要重新format) 我的集群安装位置是/opt/hadoop下,可以根据自己路径修改。

/opt/hadoop/bin/hdfs namenode -format
/opt/hadoop/sbin/start-all.sh
/opt/spark/sbin/start-all.sh

使用jps命令查看集群是否全部正确开启

2.绝对路径关闭集群

/opt/hadoop/sbin/stop-all.sh
/opt/spark/sbin/stop-all.sh

3.Spark业务(app)发布到Hadoop YARN集群方式

这里发布一个spark本身自带的jar发到hadoop集群中(此时hadoop和spark都已开启)

cd /opt/spark
./bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode cluster \
--driver-memory 4g \
--executor-memory 2g \
--executor-cores 1 \
lib/spark-examples-1.6.2-hadoop2.6.0.jar \
10

注意spark-examples-1.6.2-hadoop2.6.0.jar,需要根据你的版本来看自带的版本号。

4.log地址(方便查看错误信息)

/opt/hadoop/logs/ /opt/spark/logs/

5.web地址查看(可以直观的查看集群执行情况)

http://localhost:8088/cluster/apps http://localhost:8080/ 通过http://localhost:8088/cluster/apps看到执行成功SUCCEEDED

查看SparkPi运行结果,结果为Pi is roughly 3.140572。数值可能稍有不同。总之成功了!

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏魂祭心

原 canvas绘制clock

5184
来自专栏杨龙飞前端

scrollto 到指定位置

2994
来自专栏一个爱瞎折腾的程序猿

sqlserver使用存储过程跟踪SQL

USE [master] GO /****** Object: StoredProcedure [dbo].[sp_perfworkload_trace_s...

3010
来自专栏java 成神之路

使用 NIO 实现 echo 服务器

5667
来自专栏Ceph对象存储方案

Luminous版本PG 分布调优

Luminous版本开始新增的balancer模块在PG分布优化方面效果非常明显,操作也非常简便,强烈推荐各位在集群上线之前进行这一操作,能够极大的提升整个集群...

3705
来自专栏一个会写诗的程序员的博客

Spring Reactor 项目核心库Reactor Core

Non-Blocking Reactive Streams Foundation for the JVM both implementing a Reactiv...

2862
来自专栏我和未来有约会

Silverlight第三方控件专题

这里我收集整理了目前网上silverlight第三方控件的专题,若果有所遗漏请告知我一下。 名称 简介 截图 telerik 商 RadC...

4425
来自专栏闻道于事

js登录滑动验证,不滑动无法登陆

js的判断这里是根据滑块的位置进行判断,应该是用一个flag判断 <%@ page language="java" contentType="text/html...

8888
来自专栏C#

DotNet加密方式解析--非对称加密

    新年新气象,也希望新年可以挣大钱。不管今年年底会不会跟去年一样,满怀抱负却又壮志未酬。(不过没事,我已为各位卜上一卦,卦象显示各位都能挣钱...)...

6058
来自专栏陈仁松博客

ASP.NET Core 'Microsoft.Win32.Registry' 错误修复

今天在发布Asp.net Core应用到Azure的时候出现错误InvalidOperationException: Cannot find compilati...

5258

扫码关注云+社区