前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Hadoop历史服务器配置详细步骤

Hadoop历史服务器配置详细步骤

作者头像
bboy枫亭
发布2020-09-22 10:59:23
3.5K0
发布2020-09-22 10:59:23
举报
文章被收录于专栏:csdn_blog

Hadoop JobHistory Server 默认情况下是没有启动的,而且需要自己配置和启动该服务。 在步骤开始之前,建议先把 hdfs 和 yarn 停掉:stop-dfs.shstop-yarn.sh

1. 历史服务器基本配置

1.1 配置 mapred-site.xml 文件

满足基本使用的话,在 mapred-site.xml 添加下面配置即可(注意根据自己的 ip 进行修改)。

在这里插入图片描述
在这里插入图片描述
代码语言:javascript
复制
vim mapred-site.xml
代码语言:javascript
复制
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>ip:10020</value>
</property>

<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>ip:19888</value>
</property>

<property>
    <name>mapreduce.jobhistory.done-dir</name>
    <value>/history/done</value>
</property>

<property>
    <name>mapreduce.jobhistory.intermediate-done-dir</name>
    <value>/history/done_intermediate</value>
</property>

1.2 启动

(1)启动 hdfs 和 yarn。

代码语言:javascript
复制
start-dfs.sh
start-yarn.sh

(2)使用 $HADOOP_HOME/sbin/ 下的脚本 mr-jobhistory-daemon.sh 启动历史服务器

代码语言:javascript
复制
# 启动命令
mr-jobhistory-daemon.sh start historyserver
# 停止命令
mr-jobhistory-daemon.sh stop historyserver
在这里插入图片描述
在这里插入图片描述

浏览器输入:http://ip:19888/jobhistory 回车

在这里插入图片描述
在这里插入图片描述

2. 配置日志的聚集

(1)在 yarn-site.xml 文件中添加以下配置

在这里插入图片描述
在这里插入图片描述
代码语言:javascript
复制
<!-- 开启日志聚集功能 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>

<!-- 日志保留时间设置7天=604800秒 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>

(2)重启 Yarn 和 JobHistoryServer

代码语言:javascript
复制
stop-yarn.sh
mr-jobhistory-daemon.sh stop historyserver
start-yarn.sh
mr-jobhistory-daemon.sh start historyserver

3. 测试

提交一个任务测试如下

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

一切正常,达到预期。

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2020/08/09 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 1. 历史服务器基本配置
    • 1.1 配置 mapred-site.xml 文件
      • 1.2 启动
      • 2. 配置日志的聚集
      • 3. 测试
      相关产品与服务
      大数据
      全栈大数据产品,面向海量数据场景,帮助您 “智理无数,心中有数”!
      领券
      问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档