linux 根分区的空间去哪里了 ?记一次根分区满的服务故障排查记录

我的排查思路

cd / && du -sh * 找占用

没有占用,找占用的文件句柄 lsof | grep delete

重启大法试一试

解挂除根 和 /dev/shm 的挂载点,然后 du -sh /*

记一次根分区满的服务故障排查记录

有台运行的机器,10G的根分区(不要问为什么是10G,这么小)

突然报根目录没空间啦,好吧,赶紧上来处理,根满会影响许多服务异常

先进行第一步,cd / && du -sh * 所有空间的占用都不够10G,当然 /usr/ 这个目录例外,我已经挂载了独立的分区

然后第二步,使用 lson -n | grep delete 没有可疑的占用文件

好吧,试试重启大法 (有些时候系统需要彻底重启才能释放文件)

reboot后,根目录依然人行我素,还是100%占用。

最剩下最后一招,解挂除/ 以外的挂载点

注释/etc/fstab

手动解挂点
for loop in `seq 1 12`;
do
fuser -km /data$loop && umount /data$loop/
done

然后 du -sh /*

/data11 6.7G文件

/data2 600M

/data12 600M

果不其然,被挂载后的目录给隐藏住。

那为什么会造成这次故障呢?

看/data11 目录下的文件,是hadoop的程序写入的大量数据文件

推测是 /dev/sdl1 (/data11的设备 ) 未挂载前,datanode就已启动。

因为根目录下 /data11 (这里是挂目录下的文件) 是空目录,类似/data3 这样的4K 目录。

datanode仍然能启动,它只是视作它为一个新的逻辑目录。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏FreeBuf

Metasploit、powershell之Windows错误系统配置漏洞实战提权

? 01 引言 我们在获得目标机一个普通的权限时,除了常规提权方法外,还可以通过查找目标主机错误的系统配置和漏洞来获取系统权限。本节所讲的“Trusted S...

22410
来自专栏CodeSheep的技术分享

Elastic Search搜索引擎在SpringBoot中的实践

1675
来自专栏企鹅号快讯

防止“rm-rf/”误删除的5种方法

到周四了,大家好啊,在raksmart服务器Linux系统下防止“rm -rf /”误删除,不解释了,运维应该在每台服务器都去配置这个问题以减少灾难的发生,下面...

1916
来自专栏pangguoming

CentOS 7安装Hadoop 3.0.0

最近在学习大数据,需要安装Hadoop,自己弄了好久,最后终于弄好了。网上也有很多文章关于安装Hadoop的,但总会遇到一些问题,所以把在CentOS 7安装H...

36110
来自专栏竹清助手

常用的Git Tips

一、Configuration:配置 列举所有的别名与配置 git config --list Git 别名配置 git config --global ali...

1405
来自专栏王小雷

超详细从零记录Hadoop2.7.3完全分布式集群部署过程

超详细从零记录Ubuntu16.04.1 3台服务器上Hadoop2.7.3完全分布式集群部署过程。包含,Ubuntu服务器创建、远程工具连接配置、Ubuntu...

3399
来自专栏智能合约

PhalconCMS源码解析之多模块

991
来自专栏大数据和云计算技术

hadoop运行环境搭建

森哥/洋哥hadoop系列,非常适合初学者: Hive 元数据表结构详解 HDFS学习:HDFS机架感知与副本放置策略 Yarn【label-based sch...

35111
来自专栏Linux驱动

内核打补丁编译、创建内核工程(1)

1     内核打补丁 1.1  通过FTP将linux-2.6.22.6_jz2440.patch文件拷贝在system下 1.2  进入linux-2.6....

1869
来自专栏乐沙弥的世界

Virtual Box下安装Oracle Linux 6.3

      Oracle Linux 6.3已经发布快2年了,其功能有很大的提升,增强了KVM,文件卷的在线resizing,LVM支持 raid4, 5, 6...

422

扫码关注云+社区