【踩坑笔记】 NFS server某个挂载的目录被删除，导致未卸载的client服务器负载巨高

事情经过是这样的：

    1、某台mongodb01服务器上数据盘空间不足，临时挂载了个NFS，先尝试让服务恢复起来。

    2、运行30分钟后，发现达不到效果。于是nfs方案废弃。

    3、DBA在nfs服务器上，直接将 /mnt/mongodb01 这个目录删除了（注意：当时操作的时候，忘记db01上nfs目录还没有卸载掉）

    4、大约1小时后，监控系统告警，提示db01 系统负载高达3000

image.png

    5、DBA登录db01服务器，top、dstat命令查看没有搞CPU的进程，磁盘读写也非常低。

    6、习惯性的执行了一下 df 命令，发现非常卡顿，没法执行下去，直接强行关掉xshell会话。想起来这台机器的NFS盘还没卸载掉。

解决：

    step1、再次到db01上执行 umount 尝试卸载nfs盘。 再次执行 df ，可以正常。 但是观察段时间，发现系统负载还是很高，根本没有降下来。

    step2、在nfs上再次创建 /mnt/mongodb01 目录。 然后在 db01上，再次挂载nfs。 挂载成功后，再次执行下卸载操作（umount -l /mnt/mongodb01）

    经过这顿骚操作后，看了下系统负载终于降下来了。

image.png