首先是来自服务器的硬盘告警,DBA上去转了一圈,说是系统根目录有一个mysql的临时目录/tmp,这个目录存在mysqld已经删除但是没有释放资源的文件,他没有办法恢复,从log中找不到任何蛛丝马迹,找了两个业务,查了一遍服务,也没有发现异常的点,问题逐渐演变成:
“linux怎么从一个已经失去硬链接的文件,如何恢复?”的问题
这可给我上了一课,强中自有强中手,高手解决问题果然独具一格
lsof -p xx,看了一下进程未释放的文件,然后到/proc/<pid>/fd下找到了对应的内存中剩余了一个文件句柄做的硬链接,
ll /proc/<pid>/fd|grep MLfcmlkt
然后直接cp xxx /data/tmpfile
这样操作吧进程要删除的临时文件整回来了,直接less进去,头部查到了库名和表名,见到了操作的数据,发给业务一看,业务立即就明白了,再到Binlog里搜索了一下对应表的操作,原来是这个表超级大,业务要定时清理里面的内容,一条delete语句,一下删除的数据就有17GB, 且应用使用的连接池,会话不释放,删除的临时文件句柄就一直保留,进而就撑爆了临时目录。
(adsbygoogle = window.adsbygoogle || []).push({});