linux 根分区的空间去哪里了 ?记一次根分区满的服务故障排查记录

我的排查思路

cd / && du -sh * 找占用

没有占用,找占用的文件句柄 lsof | grep delete

重启大法试一试

解挂除根 和 /dev/shm 的挂载点,然后 du -sh /*

记一次根分区满的服务故障排查记录

有台运行的机器,10G的根分区(不要问为什么是10G,这么小)

突然报根目录没空间啦,好吧,赶紧上来处理,根满会影响许多服务异常

先进行第一步,cd / && du -sh * 所有空间的占用都不够10G,当然 /usr/ 这个目录例外,我已经挂载了独立的分区

然后第二步,使用 lson -n | grep delete 没有可疑的占用文件

好吧,试试重启大法 (有些时候系统需要彻底重启才能释放文件)

reboot后,根目录依然人行我素,还是100%占用。

最剩下最后一招,解挂除/ 以外的挂载点

注释/etc/fstab

手动解挂点
for loop in `seq 1 12`;
do
fuser -km /data$loop && umount /data$loop/
done

然后 du -sh /*

/data11 6.7G文件

/data2 600M

/data12 600M

果不其然,被挂载后的目录给隐藏住。

那为什么会造成这次故障呢?

看/data11 目录下的文件,是hadoop的程序写入的大量数据文件

推测是 /dev/sdl1 (/data11的设备 ) 未挂载前,datanode就已启动。

因为根目录下 /data11 (这里是挂目录下的文件) 是空目录,类似/data3 这样的4K 目录。

datanode仍然能启动,它只是视作它为一个新的逻辑目录。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏龙首琴剑庐

数据库的事务作用及隔离级别

1、事务是什么? 实际的SQL执行过程中,有时候我们生产过程需要保证某些SQL要么一起并顺序执行成功,要么一起失败回滚,不做任何操作。那么就有了事务的概念。事务...

32860
来自专栏我的小碗汤

linux上安装LAMP笔记

B哥最近在参加比赛,需要把一个php项目部署到服务器上,故此在linux上安装LAMP环境,用于部署项目,第一次安装,做点儿笔记记录一下。

27920
来自专栏公众号_薛勤的博客

CentOS 6.5下RPM方式(重新)安装MySQL 5.7.21从头到尾篇

ERROR 1290 (HY000): The MySQL server is running with the --skip-grant-tables ...

11620
来自专栏lgp20151222

struts2中action的class属性值意义

struts2单独使用时action由struts2自己负责创建;与spring集成时,action实例由spring负责创建(依赖注入)。这导致在两种情况下s...

11020
来自专栏散尽浮华

Oracle日常运维操作总结-数据库的启动和关闭

下面是工作中对Oracle日常管理操作的一些总结,都是一些基本的oracle操作和SQL语句写法,在此梳理成手册,希望能帮助到初学者(如有梳理不准确之处,希望指...

42750
来自专栏专业duilib使用+业余界面开发

duilib将资源文件压缩成zip并打包到exe的资源中

32930
来自专栏伦少的博客

CentOS 初始环境配置

转载请务必注明原创地址为:http://dongkelun.com/2018/04/05/centosInitialConf/

508100
来自专栏逸鹏说道

01.SQLServer性能优化之---水平分库扩展

汇总篇:http://www.cnblogs.com/dunitian/p/4822808.html#tsql 第一次引入文件组的概念:http://www.c...

35470
来自专栏Java帮帮-微信公众号-技术文章全总结

Quartz数据库表分析【面试+工作】

共11张表,前6张都是关于各种triggers的信息,后面包括job,悲观锁,调度状态等信息;相关表操作在类StdJDBCDelegate中,相关sql语句在S...

24740
来自专栏程序员的SOD蜜

PDF.NET数据开发框架之集成开发工具Ver 4.1发布

PDF.NET数据开发框架 是一套轻量级的快速数据开发框架,它具有iBatis类似的SQL-MAP特性和Hibernate的ORM持久化特性,但不使用反射,整个...

26190

扫码关注云+社区

领取腾讯云代金券