首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >0620-5.16.1-如何设置MR作业的Map或Reduce日志级别

0620-5.16.1-如何设置MR作业的Map或Reduce日志级别

作者头像
Fayson
发布2019-05-14 14:26:54
1.9K0
发布2019-05-14 14:26:54
举报
文章被收录于专栏:Hadoop实操Hadoop实操

温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。

Fayson的github: https://github.com/fayson/cdhproject

提示:代码块部分可以左右滑动查看噢

1

文档编写目的

在Hadoop集群有大量的MapReduce作业,为了分析定位作业的问题需要考虑输出Map或Reduce的详细日志,通过作业的详细的日志更快速的定位问题并解决,同样也可以通过配置日志输出级别而减少日志量。本篇文章Fayson主要介绍如何通过Cloudera Manager配置MapReduce作业的Map、Reduce、ApplicationMaster的日志级别。

  • 测试环境

1.RedHat7.3

2.CDH5.16.1

2

配置MapReduce作业日志级别

1.登录Cloudera Manager并进入Yarn的配置界面,在Gateway范围搜索“mapred-site”

2.在mapred-site.xml配置项增加如下配置

<property>
    <name>mapreduce.reduce.log.level</name>
    <value>DEBUG</value>
</property>
<property>
    <name>mapreduce.map.log.level</name>
    <value>DEBUG</value>
</property>
<property>
    <name>yarn.app.mapreduce.am.log.level</name>
    <value>DEBUG</value>
</property>

以上配置支持的日志级别有如下:

OFF

FATAL

ERROR

WARN

INFO (default)

DEBUG

TRACE

ALL

完成上述操作后,保存配置后重新部署Yarn的Gateway客户端即可。

3

MapReduce作业日志验证

1.在命令行向集群提交一个MapReduce作业

[root@ip-172-31-6-83 ~]# hadoop jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi 5 5

2.打开Yarn的8088界面查看作业日志输出情况,可以看到Map、 Reduce和AM的日志已修改为DEBUG级别

4

总结

1.通过Cloudera Manager方便的配置MapReduce作业的日志输出级别。

2.可以在Yarn Gateway客户端的mapred-site.xml配置文件中添加Map、Reduce和AM的日志级别。

3.通过配置作业的日志级别可以更方便的定位问题,同样也可以减少作业的日志输出量以降低HDFS空间的占用量。

提示:代码块部分可以左右滑动查看噢

为天地立心,为生民立命,为往圣继绝学,为万世开太平。 温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2019-05-04,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 Hadoop实操 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
专用宿主机
专用宿主机(CVM Dedicated Host,CDH)提供用户独享的物理服务器资源,满足您资源独享、资源物理隔离、安全、合规需求。专用宿主机搭载了腾讯云虚拟化系统,购买之后,您可在其上灵活创建、管理多个自定义规格的云服务器实例,自主规划物理资源的使用。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档