记一次生产上因fstab配置错误造成的应用拉起失败
一、背景
云上虚机做切换演练，应用架构为集群模式，服务器上也部署了自启动脚本，理论上只要重启服务器然后检查应用和业务状态就行，但是重启后应用启动不了，手动执行自启动脚本或手动执行应用拉起命令也失败。
二、生产环境模拟
1.模拟文件系统
[root@node01 <sub>]# lvcreate -L +10G -n logs root-vg
[root@node01 </sub>]# mkfs.xfs /dev/root-vg/logs
[root@node01 ~]# mount /dev/root-vg/logs /home/loong/logs新建lv logs，文件系统挂载点为/home/loong/logs，此时文件系统/home和/home/loong/logs使用率都为1%。
2.模拟生产目录结构
目录结构说明：/home/loong为应用目录，存储了应用包、启停命令等内容；/home/loong/logs为日志目录，存储了应用的日志。
[root@node01 ~]# cd /home
[root@node01 /home]# mkdir loong
[root@node01 /home]# cd loong/
[root@node01 /home/loong]# mkdir log3.模拟应用和日志文件
[root@node01 /home/loong]# touch {1..5}.txt
[root@node01 /home/loong]# touch app{1..10
app1--app10和1.txt--5.txt模拟应用目录/home/loong下的应用文件
[root@node01 /home/loong]# cd logs/
[root@node01 /home/loong/logs]# dd if=/dev/zero bs=100M count=3 of=/home/loong/logs/error.log
[root@node01 /home/loong/logs]# dd if=/dev/zero bs=100M count=3 of=/home/loong/logs/info.log
[root@node01 /home/loong/logs]# dd if=/dev/zero bs=100M count=3 of=/home/loong/logs/alert.lo模拟日志error.log、info.log和alert.log，大小都为300M
可以看到此时文件系统/home/loong/logs使用率已经涨到了10%
4.模拟生产/etc/fstab配置
[root@node01 /home/loong/logs]# more /etc/fsta
文件系统/dev/mapper/root--vg-logs的挂载点被错误的设置为/home/loong
三、生产环境复现
1.重启服务器
服务器重启前在应用目录/home/loong下我们可以看到txt和app文件，在日志目录/home/loong/logs可以看到3个日志文件，现在重启服务器，模拟生产切换
[root@node01 ~]# init 2.文件检查
重启服务器后检查文件，发现应用目录下/home/loong的所有txt和app文件丢失，呈现的是原来的3个日志文件。
3.手动恢复
首先umount /home/loong，如果执行不成功可以用fuser -k /home/loong命令杀掉暂用该目录的进程
手动的umount /home/loong后发现该目录原来的txt和app文件已经能被看到，但是logs目录下还为空
[root@node01 /home/loong/logs]# mount /dev/root-vg/logs /home/loong/logs
手动挂载并重新登陆/home/loong/logs后看到了3个日志目录。
4.问题解决
修改/etc/fstab，将日志挂载点修改为正确的/home/loong/logs
修改完后再次重启验证，发现日志挂载点正常，应用和日志目录文件均正常，问题解决。
四、总结
晚上做变更的时候nginx应用各种方式都起不来，报配置有误，仔细检查各个配置文件没发现有什么问题，然后检查应用目录，发现里面的文件很不正常，包和启停脚本都丢失了，而且还多了日志文件，于是怀疑是挂载的问题，检查/etc/fstab文件果然是配置有误。
/etc/fstab是用来存放文件系统的静态信息的文件，当系统启动的时候，系统会自动地从这个文件读取信息，并且会自动将此文件中指定的文件系统挂载到指定的目录。该文件很重要，一定要配置正确，否则可能会引起大问题。