CDH内存调拨过度警告分析

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。 Fayson的github:https://github.com/fayson/cdhproject 提示:代码块部分可以左右滑动查看噢

1.问题描述


Hadoop应用程序或者Yarn的作业随机的出现OutOfMemory(OOM),在Cloudera Manager界面显示如下警告:

ip-172-31-24-169.ap-southeast-1.compute.internal: Memory Overcommit Validation Threshold Suppress...
Memory on host ip-172-31-24-169.ap-southeast-1.compute.internal is overcommitted. The total memory allocation is 16.5 GiB bytes but there are only 15.3 GiB bytes of RAM (3.1 GiB bytes of which are reserved for the system). Visit the Resources tab on the Host page for allocation details. Reconfigure the roles on the host to lower the overall memory allocation. Note: Java maximum heap sizes are multiplied by 1.3 to approximate JVM overhead.

(可左右滑动)

2.问题分析


Cloudera Manager5会针对每台主机计算CDH和Cloudera Management Services使用的内存总量的最大内存提交量。如果它计算的内存过度提交,则会显示该告警。

  • 该计算方式是对可以使用的最大内存量的估算,并作为指导,以避免内存过度分配,并主动防御系统主机OutOfMemory。
  • 对于运行Cloudera Manager4或未运行Cloudera Manager的群集需要手动完成。

3.问题解决


检查每个主机内存过度提交的计算方式如下:

commit = available_memory_for_hadoop - total_hadoop_java_heap - impala_memory
if (total_system_memory * 0.8) < ( sum(java_heap_of_processes) * 1.3 + impala_memory) then flag over-committed

(可左右滑动)

这里我们使用集群的一个节点(ip-172-31-24-169.ap-southeast-1.compute.internal)来做说明,讲解内存调拨过度的计算方式,该节点的总内存约为:15.3GB

1.available_memory_for_hadoop内存计算方式,需要为操作系统和非Hadoop进程预留一定比例的系统内存

available_memory_for_hadoop = (total_system_memory * 0.8)

(可左右滑动)

“0.8”值是Cloudera Manager中的默认值,需要根据具体主机的环境进行调整。

对于具有16G内存的主机,预留20%的操作系统内存(3.2G)可能还不够。

对于具有256G内存的主机,预留20%的操作系统内存(51.2G)可能太多了。

进入主机列表界面

点击“配置”,搜索“Memory Overcommit Validation Threshold”或“内存调拨过度验证阈值”

修改相应数据,保存配置,无需要重启。

该节点默认配置的可以内存阈值为0.8,所以该节点需要预留3.1GB的内存给操作系统:

available_memory_for_os = (15.3GB * (1-0.8)) 约为3.1GB

(可左右滑动)

2.计算主机上所有Java Heap并乘以1.3来作为JRE内存开销

total_hadoop_java_heap = sum ( hadoop_java_heaps ) * 1.3

(可左右滑动)

确定主机上运行的角色

在Cloudera Manager中查找每个角色的Java Heap大小,例操作如下:

  • 这里以HBase为,进入HBase服务页面点击“配置”,搜索“Java 堆栈大小(字节)”或者“Java Heap Size of HBase * in Bytes”

当前这个节点的Java角色只有“Master”和“RegionServer”,所以该节点的HBase占用内存为(1GB + 1GB) * 1.3

  • DataNode角色的Java Heap大小为
  • NodeManager角色的Java Heap大小为
  • Zookeeper角色的Java Heap大小为

进入Zookeeper服务,点击“配置”搜“Java Heap Size of in Bytes”

  • 该节点上有DataNode角色,需要进行如下内存计算

进入HDFS服务页面,点击“配置”搜“dfs.datanode.max.locked.memory”

  • 该节点有NodeManager角色,需要进行如下内存计算

进入YARN服务页面,点击“配置”搜“yarn.nodemanager.resource.memory-mb”

  • 该节点有Impala Daemon角色,角色使用内存为

进入Impala服务,点击“配置”或“Configuration”,搜索“mem_limit”

  • 该节点有Kudu Tablet Server角色,角色使用内存为

进入Kudu服务,点击“配置”或“Configuration”搜索“memory_limit”

3.通过第2步找到该节点上所有角色内存配置如下

接下来我们来计算该节点Hadoop服务可用内存大小

total_hadoop_java_heap= (1GB + 1GB + 1GB + 1GB +1GB) * 1.3

所以这里计算出来总共使用的total_Hadoop_java_heap大小为6.5GB

该节点上所有角色使用的内存总和为:16.5GB

total_memory_use= total_hadoop_java_heap + 3GB + 3GB + 3GB + 1GB

通过以上的计算方式得出,该节点所有角色使用的总内存为16.5GB,但操作系统总内存为15.3GB(其中有3.1GB留给操作系统),该计算结果与Cloudera Manager界面警告一致。

4.总结


  • 如果节点的内存调拨过度,可能会导致Hadoop应用和Yarn的作业随机出现OutOfMemory异常,需要根据集群节点角色的内存分配情况进行调整
  • 在设置“Memory Overcommit Validation Threshold”该参数时需要根据主机节点内存的真实情况进行合理设置,否则会造成内存浪费或系统内存不足。
  • 在计算节点内存使用情况时,只有Java Heap的内存需要乘以1.3,其它内存则根据实际配置计算即可,这里的1.3是对Hadoop的累积经验,是一种“经验法则”。

提示:代码块部分可以左右滑动查看噢 为天地立心,为生民立命,为往圣继绝学,为万世开太平。 温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。

推荐关注Hadoop实操,第一时间,分享更多Hadoop干货,欢迎转发和分享。

原创文章,欢迎转载,转载请注明:转载自微信公众号Hadoop实操

原文发布于微信公众号 - Hadoop实操(gh_c4c535955d0f)

原文发表时间:2018-03-04

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Danny的专栏

【Hadoop学习笔记】——HDFS

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/huyuyang6688/article/...

1722
来自专栏个人分享

Spark on yarn配置项说明与优化整理

1. #spark.yarn.applicationMaster.waitTries  5    

2062
来自专栏熊二哥

Hadoop快速入门

传说中的Hadoop,我终于来对着你唱"征服"了,好可爱的小象,!J 总的来说,hadoop的思路比较简单(map-reduce),就是将任务分开进行,最后汇总...

9356
来自专栏Hadoop实操

CDH5.14和CM5.14的新功能

Fayson在2017年的10月12日介绍了《CDH5.13和CM5.13的新功能》,今天1月26日,Cloudera正式发布了CDH5.14。三个月零几天,2...

1.8K6
来自专栏Spark学习技巧

必读:再讲Spark与kafka 0.8.2.1+整合

Kafka在0.8和0.10版本引入了新的消费者API,所以spark Streaming与kafka的整合提供了两个包。 请根据你的集群选用正确的包。注意,...

4267
来自专栏机器学习实践二三事

Hadoop之--HDFS

what is Hadoop The Apache Hadoop software library is a framework that allows for...

2229
来自专栏加米谷大数据

技术干货 | Hadoop3.0稳定版安装攻略来啦!

第一次安装Apache Hadoop3.0.0是不是状况百出?没关系安装攻略来啦! ? Apache Hadoop 3.0.0在前一个主要发行版本(hadoop...

5239
来自专栏大数据

内存中的 MapReduce 和 Hadoop 生态系统:第 1 章

本文的部分内容摘自《使用 Apache Ignite 进行内存高性能计算 》一书。如果对此感兴趣,请查阅此书的其余部分以获取更多有用的信息。

2905
来自专栏Hadoop实操

在同时使用Hive+Sentry,因HMS死锁导致的高并发写入工作负载时,查询速度缓慢或者停滞

1725
来自专栏岑玉海

Spark作业调度

  Spark在standalone模式下,默认是使用FIFO的模式,我们可以使用spark.cores.max 来设置它的最大核心数,使用spark.exec...

4127

扫码关注云+社区

领取腾讯云代金券