业务巡检-系统巡检该怎么做
系统巡检是对于服务巡检的第一站，所以在这里我们要做好第一班岗，如果系统巡检稀里糊涂，那么后续的数据库服务巡检效果也会大打折扣。
对于系统巡检整体上有如下的一些部分需要注意：
可能整体看起来没有太深入的理解，但是和实践结合起来就有很多的注意事项，我们就以硬件信息-ILO状态检查为例来提供一种巡检思路，iLO(Integrated Lights-Out)服务基于惠普的远程控制卡服务，在Dell服务中叫做iDRAC(Integrated Dell Remote Access Controller),为了方便理解，在此我们暂且统称为iLO服务。
对于iLO服务，我们需要做如下的巡检：
（1） 检查ILO可用性和使用情况
（2） ILO模块是否开启
（3） iLO密码检查
（4） iLO超过最大用户连接数限制检查
（5） iLO在不同的硬件产品版本和浏览器的兼容性
（6） iLO页面和客户端JAVA的版本关系
我们逐个展开来解读一下：
（1） 检查iLO可用性和使用情况
如果拥有对服务器资源的管理权限，对于ILO还是要验证一下，大体有几种情况。
（2） iLO模块是否开启
这个可以联系系统组的同学帮你开启，也可以参考下面的步骤。
#modprobe ipmi_watchdog
#modprobe ipmi_poweroff
# modprobe ipmi_devintf
#chkconfig ipmi on
（3） iLO密码检查
可以使用下面的命令来重置密码
/usr/bin/ipmitool user set password 2 'xunjian'
（4） iLO超过最大用户连接数限制检查
如果用户名，密码正确，如果上一次登录没有正常退出，可能会有下面的报错。
RAC0218:已达到用户会话的最大数
这个时候可以重启iLO来达到目标。
ipmitool mc reset cold，这个过程会持续几分钟。
（5） iLO在不同的硬件产品版本和浏览器的兼容性
ILO在不同的硬件产品版本中浏览器也有一些使用差异，有些版本使用IE低版本可以，有些可以使用chrome,firefox,有些则不适用。
（6） iLO页面和JAVA的版本关系
这两点比较微妙，但是在实际中碰到问题的时候更多，特别是对于Java,如果查看新版本的硬件，过高的版本是不推荐的，因为安全策略太高，导致初始化失败，得用JAVA7及以下的版本了。
在其他层面，我也做一些阐述。
在主机层面需要注意如下的两点：
（1） 操作系统版本
操作系统的版本也需要提前规划，如果有些服务的版本过旧，需要考虑升级到一个较新的稳定版本，比如RedHat 5是个相对较旧的版本，需要尽可能升级到6U8以上版本。
（2） 操作系统内核参数
操作系统内核参数可以作为一个重要的检查项，当然对于主库而言可能重启不现实，但是提前准备好，在下次重启的时候能够省事省力，对于备库而言，也可以提早准备。
在安全检查方面，有如下的几点补充：
（1） 系统文件权限
对于部分文件，需要考虑文件的权限，保证不会恶意篡改。比如设定这些关键文件和配置文件的只读权限，比如/etc/passwd,/etc/shadow,/etc/group等等
（2） 备份保留情况，是否有异机备份
这个需要结合目前的系统使用情况，如果数据库是非归档，测试环境，可以考虑异机备份。对于一些关键业务，在有灾备的情况下，也可以额外增加部分的逻辑备份。
（3） 检查操作系统防火墙情况
对于操作系统中的防火墙设定最好能够提供完整的备份，到时候可以在灾备切换的时候用到。
如果存在特殊的网络设置情况，需要提前标注，要不帮你处理问题的同事会踩到一大坑。
在系统配置方面，有以下的补充：
（1） swap使用情况
swap的监控还是比较重要，要不swap争用较高，如果剩余内存不足，很容易触发oom-killer
（2） 文件的分区和规划情况
对于文件的分区和使用情况也需要格外关注，对于一些过旧的历史文件可以压缩或者删除。是否还在使用很陈旧的文件系统。
在系统任务方面，有如下的几点补充：
（1） 查看crontab的执行情况
查看例行的执行任务是否正常，比较尴尬的是crontab运行了，但是什么都没有干，比如删除归档，发现一直在扫描一个空目录，而真正的归档目录已经快撑爆了。
（2） 时间同步设置NTP
使用根据公司统一配置的时间同步服务器进行时间的修正。