linux 根分区的空间去哪里了 ?记一次根分区满的服务故障排查记录

我的排查思路

cd / && du -sh * 找占用

没有占用,找占用的文件句柄 lsof | grep delete

重启大法试一试

解挂除根 和 /dev/shm 的挂载点,然后 du -sh /*

记一次根分区满的服务故障排查记录

有台运行的机器,10G的根分区(不要问为什么是10G,这么小)

突然报根目录没空间啦,好吧,赶紧上来处理,根满会影响许多服务异常

先进行第一步,cd / && du -sh * 所有空间的占用都不够10G,当然 /usr/ 这个目录例外,我已经挂载了独立的分区

然后第二步,使用 lson -n | grep delete 没有可疑的占用文件

好吧,试试重启大法 (有些时候系统需要彻底重启才能释放文件)

reboot后,根目录依然人行我素,还是100%占用。

最剩下最后一招,解挂除/ 以外的挂载点

注释/etc/fstab

手动解挂点
for loop in `seq 1 12`;
do
fuser -km /data$loop && umount /data$loop/
done

然后 du -sh /*

/data11 6.7G文件

/data2 600M

/data12 600M

果不其然,被挂载后的目录给隐藏住。

那为什么会造成这次故障呢?

看/data11 目录下的文件,是hadoop的程序写入的大量数据文件

推测是 /dev/sdl1 (/data11的设备 ) 未挂载前,datanode就已启动。

因为根目录下 /data11 (这里是挂目录下的文件) 是空目录,类似/data3 这样的4K 目录。

datanode仍然能启动,它只是视作它为一个新的逻辑目录。

原创声明,本文系作者授权云+社区-专栏发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏openshift持续集成

openshift镜像构建-s2i环境变量设置

源码构建的时候我们可以在应用程序内设置环境变量的值(每行一个),方法是在源码库的.s2i / environment文件中指定它们。这个文件中指定的环境变量在构...

4627
来自专栏静默虚空的博客

Webpack 开发工具与模块热替换

Webpack 开发工具与模块热替换 ​⚠ 注意: 永远不要在生产环境中使用这些工具,永远不要。 devtool 当 JavaScript 异常抛出时,你常...

1806
来自专栏晨星先生的自留地

域控制器(1)之什么是域控

1685
来自专栏Linyb极客之路

分布式配置中心之Apollo简易环境部署

Apollo(阿波罗)是携程框架部门研发的分布式配置中心,能够集中化管理应用不同环境、不同集群的配置,配置修改后能够实时推送到应用端,并且具备规范的权限、流程治...

1122
来自专栏Nian糕的私人厨房

Vue2.0 Vuex初始化及歌手数据的配置

本次的系列博文的知识点讲解和代码,主要是来自于 黄轶 在慕课网的 Vue 2.0 高级实战-开发移动端音乐WebApp 课程,由个人总结并编写,其代码及知识点...

913
来自专栏跟着阿笨一起玩NET

用SoapUI进行Webservice的性能压力测试

转载:http://www.cnblogs.com/fnng/archive/2011/08/11/2135440.html

601
来自专栏xingoo, 一个梦想做发明家的程序员

Oozie分布式任务的工作流——Spark篇

Spark是现在应用最广泛的分布式计算框架,oozie支持在它的调度中执行spark。在我的日常工作中,一部分工作就是基于oozie维护好每天的spark离线任...

2177
来自专栏瓜大三哥

UVM模型(四)

UVM模型(四) ? 1.常用到的uvm_component uvm_driver:所有的driver都要派生自uvm_driver。driver的功能...

2329
来自专栏云计算教程系列

Ubuntu 16.04上如何使用Alertmanager和Blackbox导出程序监视Web服务器

Prometheus是一个开源监控系统,可从您的服务中收集指标并将其存储在时间序列数据库中。Alertmanager是一种处理警报的工具,可以对相应的接收器进行...

1442
来自专栏漫漫前端路

vue-cli 3.0 下发布一个 TypeScript 组件

vue-cli 3.0 提供了一系列功能,包括对 Babel, TypeScript, ESlint, PWA 等开箱即用的支持,同时,它也提供了一个 CLI ...

872

扫码关注云+社区