Hadoop历史服务器配置详细步骤
Hadoop JobHistory Server 默认情况下是没有启动的，而且需要自己配置和启动该服务。
在步骤开始之前，建议先把 hdfs 和 yarn 停掉：stop-dfs.sh、stop-yarn.sh
1. 历史服务器基本配置
1.1 配置 mapred-site.xml 文件
满足基本使用的话，在 mapred-site.xml 添加下面配置即可（注意根据自己的 ip 进行修改）。
在这里插入图片描述
vim mapred-site.xml<property>
<name>mapreduce.jobhistory.address</name>
<value>ip:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>ip:19888</value>
</property>
<property>
<name>mapreduce.jobhistory.done-dir</name>
<value>/history/done</value>
</property>
<property>
<name>mapreduce.jobhistory.intermediate-done-dir</name>
<value>/history/done_intermediate</value>
</property>1.2 启动
（1）启动 hdfs 和 yarn。
start-dfs.sh
start-yarn.sh（2）使用 $HADOOP_HOME/sbin/ 下的脚本 mr-jobhistory-daemon.sh 启动历史服务器
# 启动命令
mr-jobhistory-daemon.sh start historyserver
# 停止命令
mr-jobhistory-daemon.sh stop historyserver
在这里插入图片描述
浏览器输入：http://ip:19888/jobhistory 回车
在这里插入图片描述
2. 配置日志的聚集
（1）在 yarn-site.xml 文件中添加以下配置
在这里插入图片描述
<!-- 开启日志聚集功能 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!-- 日志保留时间设置7天=604800秒 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>（2）重启 Yarn 和 JobHistoryServer
stop-yarn.sh
mr-jobhistory-daemon.sh stop historyserver
start-yarn.sh
mr-jobhistory-daemon.sh start historyserver3. 测试
提交一个任务测试如下
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
一切正常，达到预期。
本文参与 腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。
原始发表：2020/08/09 ，如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读
腾讯云开发者
