如何在CM中启用YARN的使用率报告

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。

Fayson的github:https://github.com/fayson/cdhproject

提示:代码块部分可以左右滑动查看噢

1.文档编写目的

CDH的高级功能"群集利用率报告"(Cluster Utilization Report)是整个多租户方案体系里的一部分,可以用来查看租户的资源使用情况,并可以通过Cloudera Manager的API导出资源使用报表。

默认群集利用率报告YARN是没有开启的,参考下图:

本文主要介绍如何开启YARN的容器资源使用收集功能。

内容概述

1.如何配置YARN的容器使用情况度量收集

2.容器使用情况度量收集测试

3.总结

测试环境

1.CDH5.13.1集群

2.采用root用户操作

3.集群未启用Kerberos

2.如何配置YARN的容器使用情况度量收集

1.首先在YARN服务中开启容器使用情况度量收集

对于“容器使用情况MapReduce作业用户”输入cmjobuser,点击“保存更改”。

2.这个时候CM会自动在HDFS中创建用于收集YARN容器使用情况的目录,/tmp/cmYarnContainerMetrics,用户属组为cmjobuser:hadoop,权限为770

3.回到CM主页发现YARN服务需要重启,然后无法获取用于运行MapReduce作业的用户,这里是cmjobuser。

4.在所有节点上创建cmjobuser这个用户,设置一下UID为1001,只要大于1000即可。

(可左右滑动)

创建这个用户需要注意UID必须大于1000,否则无法执行MapReduce任务,如下YARN的配置:

另外注意该用户不能在YARN的banned.users里,如下YARN的配置

5.重启YARN服务

等待重启完毕

可以发现YARN的警告已经消失了

6.查看YARN的利用率页面,显示正常

3.容器使用情况度量收集测试

1.随便运行一些Hive和MapReduce作业

2.等待CM执行用于聚合的MapReduce作业

这里注意资源池。实际并不会马上看到这个用于计算YARN容器资源使用的MapReduce作业,最多等待1小时。

3.再次回到集群利用率报告里的YARN,已经有数据显示。

4.总结

1.CM默认不开启YARN的资源使用率报告。

2.如果要开启,首先需要在各台机器创建一个UID大于1000的普通用户。还需要保证该用户不在YARN服务的banned.users里,否则都会导致无法运行MapReduce作业从而搜集YARN的使用率。

3.在开启该功能时,CM会在HDFS中自动创建两个目录,如果没有创建或者创建失败,可以通过CM再次创建,如下图

4.你也可以手动创建该目录,但需要注意目录权限

(可左右滑动)

5.确保运行该MapReduce作业的cmjobuser能在YARN上有资源池运行作业。

如果你在CM中专门指定了一个池,如下配置

则需要确保CM的动态资源池配置的放置规则中有如下策略:

否则你需要在YARN中创建你在CM中指定的这个队列。

注:Fayson在测试过程中,CM并没有专门指定队列,所以在运行任务的时候默认使用的是第二条放置策略,即:使用池root.users.[username],如果该池不存在则加以创建。

6.CM自动两次执行用于计算YARN容器资源使用的聚合MapReduce作业,间隔为1小时。

参考:

https://www.cloudera.com/documentation/enterprise/latest/topics/admin_cluster_util_report.html#concept_pkb_nwn_2v

提示:代码块部分可以左右滑动查看噢

为天地立心,为生民立命,为往圣继绝学,为万世开太平。

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。

  • 发表于:
  • 原文链接:http://kuaibao.qq.com/s/20180124G0OEEY00?refer=cp_1026

同媒体快讯

相关快讯

扫码关注云+社区