专栏首页Hadoop实操0476-Cloudera Agent服务tmpfs文件系统cm_processes空间不足分析

0476-Cloudera Agent服务tmpfs文件系统cm_processes空间不足分析

温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。

Fayson的github: https://github.com/fayson/cdhproject

提示:代码块部分可以左右滑动查看噢

1

文档编写目的

Cloudera Manager Agent服务默认使用的tmpfs临时文件系统,是一种基于内存的文件系统。临时文件系统的大小也就在10GB左右,当Cloudera Manager Agent产生了大量数据时,挂载在/run/cloudera-scm-agent/process或/var/run/cloudera-scm-agent/process上的tmpfs文件系统空间会被占满。本篇文章Fayson主要介绍如何解决该问题,并从配置上进行修改以防止以后发生这种问题。

  • 测试环境

1.RedHat7.2

2.CM和CDH版本为5.15.0

2

tmpfs文件系统症状及影响

由于Cloudera Manager Agent的所有操作记录输出的日志均写入挂载的/run/cloudera-scm-agent/process或/var/run/cloudera-scm-agent/process上的tmpfs文件系统。在操作系统遇到大量的内核日志记录,可能会导致该文件系统你那个空间被占满。

cm_processes文件系统是tmpfs类型的,它不会以持久的方式将数据写到磁盘。Tmpfs文件系统使用物理内存(默认情况下高达50%的RAM),如果有其它应用将服务器上内存耗尽,则该文件系统会使用交换空间,此时可能会导致严重的性能问题,交换或文件系统挂起。

3

立即解决方法

在遇到这种问题的时候,如果要立即解决该问题使Cloudera Manager Agent服务正常运行,在命令行以root身份运行以下命令:

service cloudera-scm-agent next_start_clean
service cloudera-scm-agent next_stop_hard
service cloudera-scm-agent stop
service cloudera-scm-agent start

4

修改Agent配置

对于上一步的临时解决方法,考虑到未来同样的问题还是会出现,这里需要对Cloudera Manager Agent服务的配置进行一定的修改,消除存在的隐患。

需要在集群的各个节点修改/etc/cloudera-scm-agent/config.ini文件,通过修改如下参数来控制历史进程目录的数量。

# The orphan process directory staleness threshold. If a diretory is more stale
# than this amount of seconds, CM agent will remove it.
orphan_process_dir_staleness_threshold=5184000

# The orphan process directory refresh interval. The CM agent will check the
# staleness of the orphan processes config directory every this amount of
# seconds.
orphan_process_dir_refresh_interval=3600

orphan_process_dir_staleness_threshold:参数控制历史进程目录超过该时间则会Agent服务自动删除。

orphan_process_dir_refresh_interval:Agent服务通过该参数来控制检查频率。

完成以上配置参数的修改后,则需要执行重启cloudera-scm-agent服务的命令使其生效。

service cloudera-scm-agent restart

5

总结

1.对于Cloudera Manager Agent服务使用的tmpfs临时文件系统空间使用情况也需要做好相应的处理及监控,否则会导致Agent服务出现严重的性能问题。

2.对于配置较短的清理历史进程目录唯一的负面影响是,可能会导致无法查看进行启动的sterr/stdout日志,影响无法诊断问题。

提示:代码块部分可以左右滑动查看噢

为天地立心,为生民立命,为往圣继绝学,为万世开太平。 温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。

本文分享自微信公众号 - Hadoop实操(gh_c4c535955d0f)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-12-09

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 国泰航空数据泄露,940万乘客受影响

    国泰航空公司于昨夜发布“信息安全事件”通告,表示一个包含多达940万乘客数据的系统遭到网络攻击。

    FB客服
  • 国泰航空 940 万名乘客个人数据在 3 月被盗 包含出行地点数据

    据外媒报道,日前大型国际航空公司国泰航空披露,在今年3月发生的一次数据泄露事件中,该公司的940万名乘客的记录被盗,另外含有姓名、出生日期、住址等个人信息的护照...

    周俊辉
  • MIT探索了自动驾驶汽车中的经典伦理问题

    预计到2020年将有多达1000万辆自动驾驶汽车进入公共道路,当他们这样做时,他们将做出艰难的决定。可以理解的是,建立能够解决经典“电车难题(伦理学悖论)”的决...

    AiTechYun
  • [十四]基础类型之StringBuffer 与 StringBuilder对比

    StringBuilder是StringBuffer的版本改写,下面从几个方面简单的对比下他们的区别

    noteless
  • 三高系统常用架构模式

    面向互联网的三高系统,最关注的软件质量属性是:性能、可用性、伸缩性、扩展性、安全性。

    用户1172223
  • 微软表示将继续与军方合作,竞标美国国防部JEDI项目

    微软总裁Brad Smith表示,微软打算继续与美国军方合作。Smith承认,像AI和自主武器这样的新技术正在引发道德和法律挑战,但他说没有一家科技公司在处理法...

    AiTechYun
  • Web安全学习笔记之DES算法实例详解

    转自http://www.hankcs.com/security/des-algorithm-illustrated.html

    Jetpropelledsnake21
  • Shiro 实战(四) - 过滤器机制1 简介2 过滤器链

    NameableFilter给Filter起个名字,如果没有设置默认就是FilterName 当我们组装拦截器链时会根据这个名字找到相应的拦截器实例

    JavaEdge
  • 浅析php.ini设置与Web安全

    php的安全模式是个非常重要的内嵌的安全机制,能够控制一些php中的函数,比如 system(),同时把很多文件操作函数进行了权限控制,也不允许对某些关键文件的...

    周俊辉
  • Shiro 实战(三)-授权1 简介2 授权方式3 授权

    授权,也叫访问控制,即在应用中控制谁能访问哪些资源(如访问页面/编辑数据/页面操作等) 在授权中需了解的几个关键对象:主体(Subject)、资源(Resou...

    JavaEdge

扫码关注云+社区

领取腾讯云代金券