建议收藏：从硬件到安全，最全的 Linux 服务器巡检指南

smartctl -a /dev/sda

# 查内存错误日志
dmesg | grep -i "memory\|ecc"
cat /var/log/messages | grep -i "memory error"

# Dell服务器
racadm hwinventory

# HP服务器
hpasmcli -s "show dimm"

# CPU温度
sensors

# 风扇转速
ipmitool sensor list | grep -i fan

# 电源状态
ipmitool sensor list | grep -i power

df -h

# 找大文件
du -sh /* | sort -rh | head -10

# 找超过100MB的日志文件
find /var/log -type f -size +100M

# 清理30天前的非核心日志
find /var/log -name "*.log.*" -mtime +30 -delete

# 清理包缓存
yum clean all        # CentOS/RHEL
apt-get clean        # Ubuntu/Debian

# 内存
free -h
ps aux --sort=-rss | head -11

# 负载
uptime
iostat -x 1

# 网络连接数
netstat -an | wc -l
netstat -an | grep TIME_WAIT | wc -l

tail -100 /var/log/messages | grep -i error
dmesg | grep -i "error\|fail"
tail -100 /var/log/secure | grep -i fail
journalctl -p err -b

# Dell PERC
/opt/MegaRAID/MegaCli/MegaCli64 -LDInfo -Lall -aALL

# HP SmartArray
hpacucli ctrl all show config

# 软RAID（mdadm）
cat /proc/mdstat
mdadm --detail /dev/md0

systemctl status nginx
systemctl status mysql
systemctl status redis

# 端口监听
netstat -tlnp | grep :80
ss -tlnp | grep :3306

# 服务错误日志
tail -100 /var/log/nginx/error.log
tail -100 /var/log/mysql/error.log

mysql -e "show processlist;" | wc -l
mysql -e "show global status like 'Slow_queries';"
mysql -e "show engine innodb status\G" | grep -A 20 "LATEST DETECTED DEADLOCK"

# 主从复制（行情库、委托库均需检查）
mysql -e "show slave status\G" | grep -i "running"

redis-cli info memory | grep used_memory_human
redis-cli info clients | grep connected_clients
redis-cli info persistence | grep rdb_last_save_time

# 核心接口响应时间（超过200ms需关注）
curl -o /dev/null -s -w "Time: %{time_total}s\n" https://your-trading-api.com/health

# 5xx错误统计（券商系统零容忍）
tail -10000 /var/log/nginx/access.log | awk '{print $9}' | grep "^5" | wc -l

# 慢请求统计（>1秒即需关注，交易系统对延迟极敏感）
tail -10000 /var/log/nginx/access.log | awk '{if($NF>1)print $0}' | wc -l

last | head -20
lastb | head -20
grep "Failed password" /var/log/secure | tail -20
w
who

cat /etc/passwd
find /home -type d -mtime -7
cat /etc/sudoers

# 排查挖矿程序（券商服务器算力资源是挖矿黑产的目标）
ps aux | grep -E "xmrig|cryptonight|minerd"

# 排查可疑外联（防止数据外传）
netstat -antp | grep ESTABLISHED | awk '{print $5}' | cut -d: -f1 | sort | uniq -c | sort -rn | head -10

stat /etc/passwd /etc/shadow /etc/sudoers
find /etc -type f -mtime -1

# Web应用Webshell检测（网上交易系统必查）
find /var/www -name "*.php" -type f | xargs grep -l "eval(" | head -20

#!/bin/bash
# 服务器健康巡检脚本 v2.0
# 适用场景：券商生产环境

HOSTNAME=$(hostname)
DATE=$(date +"%Y-%m-%d %H:%M:%S")
REPORT_FILE="/tmp/server_check_$(date +%Y%m%d).txt"
ALERT_THRESHOLD_CPU=80
ALERT_THRESHOLD_MEM=85
ALERT_THRESHOLD_DISK=85

cat > $REPORT_FILE << EOF
======================================
服务器健康巡检报告
服务器: $HOSTNAME
时间: $DATE
======================================

EOF

# 1. 系统基本信息
echo"【1. 系统基本信息】" >> $REPORT_FILE
echo"操作系统: $(cat /etc/redhat-release 2>/dev/null || head -1 /etc/lsb-release 2>/dev/null)" >> $REPORT_FILE
echo"内核版本: $(uname -r)" >> $REPORT_FILE
echo"运行时间: $(uptime | awk -F'up ' '{print $2}' | awk -F',' '{print $1}')" >> $REPORT_FILE
echo"" >> $REPORT_FILE

# 2. CPU检查
echo"【2. CPU使用情况】" >> $REPORT_FILE
CPU_USAGE=$(top -bn1 | grep "Cpu(s)" | sed "s/.*, *\([0-9.]*\)%* id.*/\1/" | awk '{print 100 - $1}')
echo"CPU使用率: ${CPU_USAGE}%" >> $REPORT_FILE
if [ $(echo"$CPU_USAGE > $ALERT_THRESHOLD_CPU" | bc) -eq 1 ]; then
    echo"⚠️  警告：CPU使用率超过 ${ALERT_THRESHOLD_CPU}%" >> $REPORT_FILE
fi
top -bn1 | head -15 >> $REPORT_FILE
echo"" >> $REPORT_FILE

# 3. 内存检查
echo"【3. 内存使用情况】" >> $REPORT_FILE
free -h >> $REPORT_FILE
MEM_USAGE=$(free | grep Mem | awk '{print int($3/$2 * 100)}')
echo"内存使用率: ${MEM_USAGE}%" >> $REPORT_FILE
if [ $MEM_USAGE -gt $ALERT_THRESHOLD_MEM ]; then
    echo"⚠️  警告：内存使用率超过 ${ALERT_THRESHOLD_MEM}%" >> $REPORT_FILE
fi
echo"" >> $REPORT_FILE

# 4. 磁盘检查
echo"【4. 磁盘使用情况】" >> $REPORT_FILE
df -h >> $REPORT_FILE
df -h | awk '{print $5}' | grep -v "Use%" | sed 's/%//g' | whileread usage; do
    if [ "$usage" -gt "$ALERT_THRESHOLD_DISK" ] 2>/dev/null; then
        echo"⚠️  警告：存在分区使用率超过 ${ALERT_THRESHOLD_DISK}%" >> $REPORT_FILE
    fi
done
echo"" >> $REPORT_FILE

# 5. 系统负载
echo"【5. 系统负载】" >> $REPORT_FILE
uptime >> $REPORT_FILE
CPU_CORES=$(nproc)
LOAD_5MIN=$(uptime | awk -F'load average:''{print $2}' | awk -F',''{print $2}' | xargs)
echo"CPU核心数: $CPU_CORES | 5分钟平均负载: $LOAD_5MIN" >> $REPORT_FILE
echo"" >> $REPORT_FILE

# 6. 硬盘SMART检查
echo"【6. 硬盘健康状态】" >> $REPORT_FILE
ifcommand -v smartctl &> /dev/null; then
    for disk in $(lsblk -d -n -o name | grep -E "^sd|^nvme"); do
        echo"--- /dev/$disk ---" >> $REPORT_FILE
        smartctl -H /dev/$disk >> $REPORT_FILE 2>&1
        smartctl -A /dev/$disk | grep -E "Reallocated_Sector|Reported_Uncorrect|Current_Pending|Temperature" >> $REPORT_FILE 2>&1
        echo"" >> $REPORT_FILE
    done
else
    echo"smartctl 未安装，建议执行：yum install smartmontools" >> $REPORT_FILE
fi
echo"" >> $REPORT_FILE

# 7. 网络连接
echo"【7. 网络连接】" >> $REPORT_FILE
echo"总连接数: $(netstat -an | wc -l)" >> $REPORT_FILE
echo"ESTABLISHED连接: $(netstat -an | grep ESTABLISHED | wc -l)" >> $REPORT_FILE
echo"TIME_WAIT连接: $(netstat -an | grep TIME_WAIT | wc -l)" >> $REPORT_FILE
echo"" >> $REPORT_FILE

# 8. 核心服务状态
echo"【8. 核心服务状态】" >> $REPORT_FILE
SERVICES=("nginx""httpd""mysql""mysqld""redis""docker")
for service in"${SERVICES[@]}"; do
    if systemctl list-units --full --all | grep -Fq "$service.service"; then
        STATUS=$(systemctl is-active $service)
        if [ "$STATUS" == "active" ]; then
            echo"✓ $service: 运行中" >> $REPORT_FILE
        else
            echo"✗ $service: 已停止 ⚠️" >> $REPORT_FILE
        fi
    fi
done
echo"" >> $REPORT_FILE

# 9. 登录记录
echo"【9. 最近登录记录（10条）】" >> $REPORT_FILE
last | head -10 >> $REPORT_FILE
echo"" >> $REPORT_FILE

echo"【10. 失败登录记录（10条）】" >> $REPORT_FILE
lastb 2>/dev/null | head -10 >> $REPORT_FILE || echo"无失败登录记录" >> $REPORT_FILE
echo"" >> $REPORT_FILE

# 10. 系统错误日志
echo"【11. 系统错误日志（20条）】" >> $REPORT_FILE
tail -20 /var/log/messages 2>/dev/null | grep -i error >> $REPORT_FILE || echo"无错误日志" >> $REPORT_FILE
echo"" >> $REPORT_FILE

echo"======================================" >> $REPORT_FILE
echo"巡检完成: $(date)" >> $REPORT_FILE
echo"报告位置: $REPORT_FILE" >> $REPORT_FILE
echo"======================================" >> $REPORT_FILE

cat $REPORT_FILE

# 按需启用：发送至运维负责人与合规部门
# mail -s "[$HOSTNAME] 服务器巡检报告" ops@your-broker.com < $REPORT_FILE

crontab -e

# 每天早上8点执行（开市前1.5小时，留足处置窗口）
0 8 * * 1-5 /opt/scripts/server_check.sh

# 每周六执行完整巡检（含SMART，利用休市时间）
0 9 * * 6 /opt/scripts/server_check_full.sh

服务器：trade-db-master-01（交易委托数据库主机）
日期：2026-02-14
巡检人：张三
耗时：20分钟
巡检类型：日常巡检（开市前）

硬件状态
[✓]CPU温度正常（62℃）
[✓] 内存无ECC错误
[⚠] 硬盘sda：Reallocated_Sector_Ct = 8，已超预警阈值
    → 已提交换盘工单 IT-20260214-001，预计2月18日到货
    → 到货后在周六休市维护窗口（2月22日 00:00-04:00）更换
[✓] 风扇转速正常
[✓] 双电源工作正常

系统状态
[✓] 磁盘：根分区68%，/data分区72%
[✓] 内存使用率：74%
[✓] 5分钟平均负载：3.8（8核，正常范围）
[✓] 网络连接数：3100（正常）

RAID状态
[✓]RAID10阵列：Optimal，8块盘全部Online
[✓] 上次重建完成时间：2026-01-15 03:22

应用服务
[✓] 交易委托服务运行正常
[✓]MySQL连接数：210，无死锁，无慢查询告警
[✓] 主从复制正常，当前延迟：0.3秒
[✓]Redis内存：3.1GB / 16GB，RDB持久化正常

安全检查
[✓] 无非交易时段登录记录
[✓] 无境外IP访问
[✓] 无可疑进程，无异常外联

问题与跟进
1. 硬盘sda预警（工单IT-20260214-001）
   - 状态：已审批，等待硬件到货
   - 预计完成：2026-02-22 04:00前
   - 负责人：李四
2. /data分区72%，增速较上周加快（上周68%）
   - 计划本周五收市后清理90天前的历史行情数据归档
   - 清理前确认合规留存要求，保留监管要求的完整交易记录
   - 负责人：张三，预计完成：2026-02-21 18:00

下次巡检：2026-02-17（下周一开市前）

巡检人签字：张三
审核人签字：李四（运维负责人）
合规备案编号：OPS-PATROL-20260214-001