专栏首页莫韵的专栏linux 根分区的空间去哪里了 ?记一次根分区满的服务故障排查记录
原创

linux 根分区的空间去哪里了 ?记一次根分区满的服务故障排查记录

我的排查思路

cd / && du -sh * 找占用

没有占用,找占用的文件句柄 lsof | grep delete

重启大法试一试

解挂除根 和 /dev/shm 的挂载点,然后 du -sh /*

记一次根分区满的服务故障排查记录

有台运行的机器,10G的根分区(不要问为什么是10G,这么小)

突然报根目录没空间啦,好吧,赶紧上来处理,根满会影响许多服务异常

先进行第一步,cd / && du -sh * 所有空间的占用都不够10G,当然 /usr/ 这个目录例外,我已经挂载了独立的分区

然后第二步,使用 lson -n | grep delete 没有可疑的占用文件

好吧,试试重启大法 (有些时候系统需要彻底重启才能释放文件)

reboot后,根目录依然人行我素,还是100%占用。

最剩下最后一招,解挂除/ 以外的挂载点

注释/etc/fstab

手动解挂点
for loop in `seq 1 12`;
do
fuser -km /data$loop && umount /data$loop/
done

然后 du -sh /*

/data11 6.7G文件

/data2 600M

/data12 600M

果不其然,被挂载后的目录给隐藏住。

那为什么会造成这次故障呢?

看/data11 目录下的文件,是hadoop的程序写入的大量数据文件

推测是 /dev/sdl1 (/data11的设备 ) 未挂载前,datanode就已启动。

因为根目录下 /data11 (这里是挂目录下的文件) 是空目录,类似/data3 这样的4K 目录。

datanode仍然能启动,它只是视作它为一个新的逻辑目录。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • MySQL 占用空间一键查询实践

    大家可能经常会遇到DB满的情况 特别是大家共用DB的时候 这时候需要找到,哪个DB比较大,哪个表比较大,默认的方法你得一个一个的查询, 但这肯定不是偷懒程序员爱...

    莫韵
  • 在腾讯云上使用自建DNS

    在腾讯云上使用自建DNS , 这是一个非常非常非常硬的需求。非常多的程序模块要求,通过DNS解析去访问调用,但是,当你把dns改为自己的,接着腾讯云提供的套件服...

    莫韵
  • 这个python程序怎么就是没更新

    把supervisor进程重启一把 supervisorctl status 服务又正常了 托管的代码也同样更新成功

    莫韵
  • 腾讯云接入备案流程 新手必看教程

    目前备案网页端正在进行升级改造,升级期间,暂不支持通过备案网页端创建新的备案订单,请使用腾讯云网站备案小程序进行备案信息核验及提交备案材料。

    用户6639278
  • 腾讯云接入备案流程 新手必看教程

    目前备案网页端正在进行升级改造,升级期间,暂不支持通过备案网页端创建新的备案订单,请使用腾讯云网站备案小程序进行备案信息核验及提交备案材料。

    魏艾斯博客www.vpsss.net
  • icp备案和域名备案 转

    域名备案是指强大的Z-F为了监管互联网站点创新发明出的一个做法。简单地说就是把网站站长的个人或单位的真实资料,包括身份证复印件、填写网站登记表等等资料提交给你的...

    wuweixiang
  • 关于ICP备案你所不了解的那些事

    原打算这篇文章是写成正常的网站备案指导步骤的,在写的过程中,我发现其实各大IDC厂商的的帮助信息都已经非常明确具体了,甚至细分到每个省区有不同的细则都标识的很清...

    世纪访客
  • 添加php的memcached扩展模块

    memcached服务直接用yum安装 [root@localhost ~]# yum install memcached 然后启动memcache服务,启动多...

    洗尽了浮华
  • 腾讯云网站备案咨询解答:是否影响备案

    在腾讯云备案网站过程中各种操作可能会影响到备案进度,老魏总结了一部分影响备案进度的问题,可以帮助大家顺利过关。现在分享出来,希望对正在备案中或者打算要备案的你有...

    魏艾斯博客www.vpsss.net
  • 说说网站域名备案这个事儿

    在站长圈子里说起“备案”这个事儿几乎是哀鸿一片,甚至都可以用“怨声载道”来形容了。备案真的有那么可怕吗?最近,明月给几个站长做服务器代运维的时候发现不少新手站长...

    明月云服务

扫码关注云+社区

领取腾讯云代金券