一次数据磁盘爆满的问题排查过程

一、业务挂掉

群里炸了，业务和用户永远是最先发现问题的人群。

然后进行了基本的排查。

二、过程

1.打开业务网址无法访问

2.服务器排查nginx和PHP服务，都正常

3.查看PHP的进程异常的多

4.查看PHP的错误日志，打开php.ini文件，错误位置在/var/log/php/error.log

5.发现没有错误

6.查看nginx日志

[error] 14225#0: *122109623 connect() failed (111: Connection refused) while connecting to upstream, client: 58.18.243.80, server

7.查看数据库服务器，无法写入数据

8.查看磁盘/dev/xvdb1 103210940 94903192 3064940 97% /data_mysql 容量已满

9.查看目录下的文件，是一些有规律的备份文件

10.查看crontab -e ，发现有个脚本在不定时备份数据库整库的数据

11.先删除目录下的文件，然后新增脚本，对于目录下214天前的文件进行删除，只保留最新的备份。

0 3 * * 2 find /data_mysql/backupmysql "*.sql" -mtime+14 -execrm{};

12.处理后，重启api的PHP服务，业务恢复正常