温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。 Fayson的github:https://github.com/fayson/cdhproject 提示:代码块部分可以左右滑动查看噢
1.问题描述
Hadoop应用程序或者Yarn的作业随机的出现OutOfMemory(OOM),在Cloudera Manager界面显示如下警告:
ip-172-31-24-169.ap-southeast-1.compute.internal: Memory Overcommit Validation Threshold Suppress...
Memory on host ip-172-31-24-169.ap-southeast-1.compute.internal is overcommitted. The total memory allocation is 16.5 GiB bytes but there are only 15.3 GiB bytes of RAM (3.1 GiB bytes of which are reserved for the system). Visit the Resources tab on the Host page for allocation details. Reconfigure the roles on the host to lower the overall memory allocation. Note: Java maximum heap sizes are multiplied by 1.3 to approximate JVM overhead.
(可左右滑动)
2.问题分析
Cloudera Manager5会针对每台主机计算CDH和Cloudera Management Services使用的内存总量的最大内存提交量。如果它计算的内存过度提交,则会显示该告警。
3.问题解决
检查每个主机内存过度提交的计算方式如下:
commit = available_memory_for_hadoop - total_hadoop_java_heap - impala_memory
if (total_system_memory * 0.8) < ( sum(java_heap_of_processes) * 1.3 + impala_memory) then flag over-committed
(可左右滑动)
这里我们使用集群的一个节点(ip-172-31-24-169.ap-southeast-1.compute.internal)来做说明,讲解内存调拨过度的计算方式,该节点的总内存约为:15.3GB
1.available_memory_for_hadoop内存计算方式,需要为操作系统和非Hadoop进程预留一定比例的系统内存
available_memory_for_hadoop = (total_system_memory * 0.8)
(可左右滑动)
“0.8”值是Cloudera Manager中的默认值,需要根据具体主机的环境进行调整。
对于具有16G内存的主机,预留20%的操作系统内存(3.2G)可能还不够。
对于具有256G内存的主机,预留20%的操作系统内存(51.2G)可能太多了。
进入主机列表界面
点击“配置”,搜索“Memory Overcommit Validation Threshold”或“内存调拨过度验证阈值”
修改相应数据,保存配置,无需要重启。
该节点默认配置的可以内存阈值为0.8,所以该节点需要预留3.1GB的内存给操作系统:
available_memory_for_os = (15.3GB * (1-0.8)) 约为3.1GB
(可左右滑动)
2.计算主机上所有Java Heap并乘以1.3来作为JRE内存开销
total_hadoop_java_heap = sum ( hadoop_java_heaps ) * 1.3
(可左右滑动)
确定主机上运行的角色
在Cloudera Manager中查找每个角色的Java Heap大小,例操作如下:
当前这个节点的Java角色只有“Master”和“RegionServer”,所以该节点的HBase占用内存为(1GB + 1GB) * 1.3
进入Zookeeper服务,点击“配置”搜“Java Heap Size of in Bytes”
进入HDFS服务页面,点击“配置”搜“dfs.datanode.max.locked.memory”
进入YARN服务页面,点击“配置”搜“yarn.nodemanager.resource.memory-mb”
进入Impala服务,点击“配置”或“Configuration”,搜索“mem_limit”
进入Kudu服务,点击“配置”或“Configuration”搜索“memory_limit”
3.通过第2步找到该节点上所有角色内存配置如下
接下来我们来计算该节点Hadoop服务可用内存大小
total_hadoop_java_heap= (1GB + 1GB + 1GB + 1GB +1GB) * 1.3
所以这里计算出来总共使用的total_Hadoop_java_heap大小为6.5GB
该节点上所有角色使用的内存总和为:16.5GB
total_memory_use= total_hadoop_java_heap + 3GB + 3GB + 3GB + 1GB
通过以上的计算方式得出,该节点所有角色使用的总内存为16.5GB,但操作系统总内存为15.3GB(其中有3.1GB留给操作系统),该计算结果与Cloudera Manager界面警告一致。
4.总结
提示:代码块部分可以左右滑动查看噢 为天地立心,为生民立命,为往圣继绝学,为万世开太平。 温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。
推荐关注Hadoop实操,第一时间,分享更多Hadoop干货,欢迎转发和分享。
原创文章,欢迎转载,转载请注明:转载自微信公众号Hadoop实操