如何在不重启Yarn服务的情况下启用DEBUG日志记录

温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。

Fayson的github: https://github.com/fayson/cdhproject

提示:代码块部分可以左右滑动查看噢

1.文档编写目的


为了解决Yarn问题,需要为不同的服务启用调试。但是,在生产集群中,可能无法立即重启Yarn服务。本篇文章Fayson主要介绍如何在不重启Yarn服务的情况下为ResourceManager、JobHistory等服务启用DEBUG级别日志记录。

  • 内容概述

1.启用Yarn的DEBUG日志记录

2.总结

  • 测试环境

1.CM和CDH版本为5.15

2.启用Resource Manager服务调试


1.在浏览器输入Resource Manager Web UI的日志配置界面,地址:http://{rm_host}:8088/logLevel

2.获取特定类的日志记录级别

3.更改特定类的日志记录,示例如下:

“org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler”

4.查看Resource Manager服务的日志

3.总结


1.由于DEBUG级别日志会产生大量的日志记录,请考虑需要哪些日志信息,仅对相应的类进行日志记录级别调整。

2.以上操作同样适用于NodeManager和JobHistory服务,访问地址如下:

http://nm_host:8042/logLevel

http://jhs_host:19888/logLevel

提示:代码块部分可以左右滑动查看噢

为天地立心,为生民立命,为往圣继绝学,为万世开太平。 温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。

原文发布于微信公众号 - Hadoop实操(gh_c4c535955d0f)

原文发表时间:2018-10-15

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Hadoop实操

如何在CDSW上调试失败或卡住的Spark应用

默认情况下,CDSW会话中的Spark应用程序只显示ERROR级别的日志,当作业出现异常或卡住时无法查看作业运行详细日志及异常堆栈信息,不能根据日志的上下文正确...

1593
来自专栏Hadoop实操

如何卸载CDH(附一键卸载github源码)

本文档将介绍Cloudera Manager与CDH的卸载,并基于CDH使用parcels安装且未配置安全(AD/LDAP, Kerberos, Data En...

5706
来自专栏赵俊的Java专栏

Hadoop 伪分布式环境搭建

1632
来自专栏Hadoop实操

如何使用Intellij搭建Spark开发环境

在开始Spark学习之前,首先需要搭建Spark的开发环境,可以基于Eclipse或者Intellij等IDE,本文档主要讲述如何使用Intellij搭建Spa...

3734
来自专栏北京马哥教育

CentOS 6.5上搭建Hadoop环境详解

本文详细记录在开发服务器CentOS 6.5上搭建Hadoop的详细过程。 ssh连接免密码配置 由于配置过程中需要频繁的进行ssh连接到开发服务器执行命令以及...

3475
来自专栏行者悟空

Hadoop 2.x 伪分布式环境搭建

1292
来自专栏菩提树下的杨过

hadoop1.2.1伪分布模式配置

1、修改core-site.xml,配置hdfs 1 <configuration> 2 <property> 3 <name>fs.default...

2195
来自专栏AILearning

Apache Zeppelin 中 HDFS文件系统 解释器

概述 Hadoop文件系统是hadoop项目的分布式,容错文件系统的一部分,通常用作Hadoop MapReduce和Apache Spark或Allux...

2705
来自专栏乐沙弥的世界

Windows 2012配置故障转移(For SQLServer 2014 AlwaysOn)

单击”管理”菜单,选择”添加角色和功能” 单击”下一步”,选择”基于角色或基于功能的安装”,单击”下一步” 选择本地服务器,单击”下一步”,直到功能模块...

1442
来自专栏pangguoming

CentOS 7安装Hadoop 3.0.0

最近在学习大数据,需要安装Hadoop,自己弄了好久,最后终于弄好了。网上也有很多文章关于安装Hadoop的,但总会遇到一些问题,所以把在CentOS 7安装H...

43710

扫码关注云+社区

领取腾讯云代金券