linux 根分区的空间去哪里了 ?记一次根分区满的服务故障排查记录

我的排查思路

cd / && du -sh * 找占用

没有占用,找占用的文件句柄 lsof | grep delete

重启大法试一试

解挂除根 和 /dev/shm 的挂载点,然后 du -sh /*

记一次根分区满的服务故障排查记录

有台运行的机器,10G的根分区(不要问为什么是10G,这么小)

突然报根目录没空间啦,好吧,赶紧上来处理,根满会影响许多服务异常

先进行第一步,cd / && du -sh * 所有空间的占用都不够10G,当然 /usr/ 这个目录例外,我已经挂载了独立的分区

然后第二步,使用 lson -n | grep delete 没有可疑的占用文件

好吧,试试重启大法 (有些时候系统需要彻底重启才能释放文件)

reboot后,根目录依然人行我素,还是100%占用。

最剩下最后一招,解挂除/ 以外的挂载点

注释/etc/fstab

手动解挂点
for loop in `seq 1 12`;
do
fuser -km /data$loop && umount /data$loop/
done

然后 du -sh /*

/data11 6.7G文件

/data2 600M

/data12 600M

果不其然,被挂载后的目录给隐藏住。

那为什么会造成这次故障呢?

看/data11 目录下的文件,是hadoop的程序写入的大量数据文件

推测是 /dev/sdl1 (/data11的设备 ) 未挂载前,datanode就已启动。

因为根目录下 /data11 (这里是挂目录下的文件) 是空目录,类似/data3 这样的4K 目录。

datanode仍然能启动,它只是视作它为一个新的逻辑目录。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏我和未来有约会

Silverlight第三方控件专题

这里我收集整理了目前网上silverlight第三方控件的专题,若果有所遗漏请告知我一下。 名称 简介 截图 telerik 商 RadC...

4395
来自专栏一个会写诗的程序员的博客

Spring Reactor 项目核心库Reactor Core

Non-Blocking Reactive Streams Foundation for the JVM both implementing a Reactiv...

2782
来自专栏pangguoming

Spring Boot集成JasperReports生成PDF文档

由于工作需要,要实现后端根据模板动态填充数据生成PDF文档,通过技术选型,使用Ireport5.6来设计模板,结合JasperReports5.6工具库来调用渲...

1.4K7
来自专栏Golang语言社区

【Golang语言社区】GO1.9 map并发安全测试

var m sync.Map //全局 func maintest() { // 第一个 YongHuomap := make(map[st...

5448
来自专栏一个爱瞎折腾的程序猿

sqlserver使用存储过程跟踪SQL

USE [master] GO /****** Object: StoredProcedure [dbo].[sp_perfworkload_trace_s...

2860
来自专栏张善友的专栏

Silverlight + Model-View-ViewModel (MVVM)

     早在2005年,John Gossman写了一篇关于Model-View-ViewModel模式的博文,这种模式被他所在的微软的项目组用来创建Expr...

3278
来自专栏Ceph对象存储方案

Luminous版本PG 分布调优

Luminous版本开始新增的balancer模块在PG分布优化方面效果非常明显,操作也非常简便,强烈推荐各位在集群上线之前进行这一操作,能够极大的提升整个集群...

3675
来自专栏转载gongluck的CSDN博客

cocos2dx 打灰机

#include "GamePlane.h" #include "PlaneSprite.h" #include "BulletNode.h" #include...

7166
来自专栏C#

DotNet加密方式解析--非对称加密

    新年新气象,也希望新年可以挣大钱。不管今年年底会不会跟去年一样,满怀抱负却又壮志未酬。(不过没事,我已为各位卜上一卦,卦象显示各位都能挣钱...)...

5948
来自专栏跟着阿笨一起玩NET

c#实现打印功能

3702

扫码关注云+社区