Spark History Server配置
Spark History Server配置
CoderJed
发布于 2018-09-13 10:41:54
发布于 2018-09-13 10:41:54
(1) 修改spark-defaults.conf配置文件
该文件在SPARK_HOME/conf/下，新安装的spark中只有spark-defaults.conf.template这个文件，改名为spark-defaults.conf即可
[root@repo conf]# vim spark-defaults.conf
spark.eventLog.enabled true
spark.eventLog.dir hdfs://repo:9000/spark/historyLog
spark.history.fs.logDirectory hdfs://repo:9000/spark/historyLog
# spark.eventLog.compress true # 可以设置保存历史日志时进行压缩注意：
- 保存历史数据的目录需要先创建好
- 上面配置的两个目录必须是一样的
- 如果你的hadoop是HA集群，那两个目录的路径要写
hdfs://your-clustername/spark/historyLog,your-clustername由hdfs-site.xml中的dfs.nameservices来配置，另外，your-clustername后面不用加端口！我曾经因为写成这样：hdfs://mycluster:9000/user/hadoop/spark/historyLog而报错：
Exception in thread "main" java.io.IOException: Port 9000 specified in URI hdfs://mycluster:9000/user/hadoop/spark/historyLog but host 'mycluster' is a logical (HA) namenode and does not use port information.浪费了一天时间！血的教训！
(2) 启动history server
[root@repo conf]# start-history-server.sh(3) 访问web界面
(4) 测试
提交一个spark任务
spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://repo:7077 \
--executor-memory 2G \
--total-executor-cores 1 \
/opt/spark-2.2.0/examples/jars/spark-examples_2.11-2.2.0.jar \
1000查看web页面
查看hdfs上的日志文件
Spark History Server配置成功！
本文参与 腾讯云自媒体分享计划，分享自作者个人站点/博客。
原始发表：2018.01.12 ，如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读
目录