记录了Spark,Hadoop集群的开启,关闭,以及Spark应用提交到Hadoop集群的过程,通过web端监控运行状态。
(每次集群重启,默认配置的hadoop集群中tmp文件被清空所以需要重新format) 我的集群安装位置是/opt/hadoop下,可以根据自己路径修改。
/opt/hadoop/bin/hdfs namenode -format
/opt/hadoop/sbin/start-all.sh
/opt/spark/sbin/start-all.sh
使用jps命令查看集群是否全部正确开启
/opt/hadoop/sbin/stop-all.sh
/opt/spark/sbin/stop-all.sh
这里发布一个spark本身自带的jar发到hadoop集群中(此时hadoop和spark都已开启)
cd /opt/spark
./bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode cluster \
--driver-memory 4g \
--executor-memory 2g \
--executor-cores 1 \
lib/spark-examples-1.6.2-hadoop2.6.0.jar \
10
注意spark-examples-1.6.2-hadoop2.6.0.jar,需要根据你的版本来看自带的版本号。
/opt/hadoop/logs/ /opt/spark/logs/
http://localhost:8088/cluster/apps http://localhost:8080/ 通过http://localhost:8088/cluster/apps看到执行成功SUCCEEDED
查看SparkPi运行结果,结果为Pi is roughly 3.140572。数值可能稍有不同。总之成功了!