Spark应用(app jar)发布到Hadoop集群的过程

记录了Spark,Hadoop集群的开启,关闭,以及Spark应用提交到Hadoop集群的过程,通过web端监控运行状态。

1.绝对路径开启集群

(每次集群重启,默认配置的hadoop集群中tmp文件被清空所以需要重新format) 我的集群安装位置是/opt/hadoop下,可以根据自己路径修改。

/opt/hadoop/bin/hdfs namenode -format
/opt/hadoop/sbin/start-all.sh
/opt/spark/sbin/start-all.sh

使用jps命令查看集群是否全部正确开启

2.绝对路径关闭集群

/opt/hadoop/sbin/stop-all.sh
/opt/spark/sbin/stop-all.sh

3.Spark业务(app)发布到Hadoop YARN集群方式

这里发布一个spark本身自带的jar发到hadoop集群中(此时hadoop和spark都已开启)

cd /opt/spark
./bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode cluster \
--driver-memory 4g \
--executor-memory 2g \
--executor-cores 1 \
lib/spark-examples-1.6.2-hadoop2.6.0.jar \
10

注意spark-examples-1.6.2-hadoop2.6.0.jar,需要根据你的版本来看自带的版本号。

4.log地址(方便查看错误信息)

/opt/hadoop/logs/ /opt/spark/logs/

5.web地址查看(可以直观的查看集群执行情况)

http://localhost:8088/cluster/apps http://localhost:8080/ 通过http://localhost:8088/cluster/apps看到执行成功SUCCEEDED

查看SparkPi运行结果,结果为Pi is roughly 3.140572。数值可能稍有不同。总之成功了!

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏张浩的专栏

Hadoop、Flume、Kafka环境搭建

下载地址:https://archive.cloudera.com/cdh5/cdh/5/hadoop-latest.tar.gz

211
来自专栏性能与架构

Docker容器跨主机互联

当两个Docker容器在同一主机时,可以通过--link命令让两者直接互相访问。 如果要跨主机实现容器互联,则往往需要容器知道其他物理主机的IP地址 利用Amb...

3634
来自专栏Java技术分享

手把手教你用Mysql-Cluster-7.5搭建数据库集群

当你的业务到达一定的当量,肯定需要一定数量的数据库来负载均衡你的数据库请求,我在之前的博客中已经说明了,如何实现负载均衡,但是还有一个问题就是数据同步,因为负载...

3528
来自专栏Hadoop实操

CM部署客户端配置失败异常分析

在Cloudera Manager修改了服务的客户端配置后,执行部署客户配置报如下异常:

653
来自专栏jeremy的技术点滴

linux下进行端口映射

3627
来自专栏Java技术分享

手把手教你用Mysql-Cluster-7.5搭建数据库集群

当你的业务到达一定的当量,肯定需要一定数量的数据库来负载均衡你的数据库请求,我在之前的博客中已经说明了,如何实现负载均衡,但是还有一个问题就是数据同步,因为负...

2048
来自专栏IT笔记

JavaWeb项目架构之NFS文件服务器

NFS简介 NFS(Network File System)即网络文件系统。 主要功能:通过网络(局域网)让不同的主机系统之间可以共享文件或目录。 主要用途:N...

3446
来自专栏闵开慧

centos系统信息查看命令大全

系统 # uname -a               # 查看内核/操作系统/CPU信息 # head -n 1 /etc/issue   # 查看操作系统版...

3518
来自专栏大数据

在Ubuntu上启动并运行Hadoop

Hadoop是一个用Java编写的框架,它允许在大型商品硬件集群上以分布式方式处理大型数据集。

1541
来自专栏Laoqi's Linux运维专列

Redis慢日志+扩展模块+存储session+主从配置

3745

扫码关注云+社区