数据库智能运维中的异常检测算法有哪些？

数据库智能运维中的异常检测算法需结合时序数据特征、业务场景复杂度及数据分布特性进行选择。以下从统计方法、机器学习方法、深度学习方法及混合方法四个维度，系统梳理主流算法及其适用场景：

​一、统计方法​

1. ​经典阈值检测​

• ​3Sigma原则​ 假设数据服从正态分布，计算均值±3倍标准差作为阈值。适用于对称分布指标（如CPU利用率），但对偏态分布敏感。
• ​动态基线（EWMA）​​ 指数加权移动平均法，通过调整权重系数（如α=0.2）适应指标趋势变化，适用于周期性波动场景（如电商大促流量）。

2. ​鲁棒性统计量​

• ​绝对中位差（MAD）​​ 计算数据中位数绝对偏差，对异常值容忍度高，适用于高对称分布（如磁盘IOPS）。公式：MAD = median(|X_i - median(X)|)，阈值通常设为median ± 3*MAD。
• ​箱形图（Boxplot）​​ 基于四分位数（Q1、Q3）计算IQR（四分位距），识别超出Q1-1.5*IQR或Q3+1.5*IQR的异常点，适合中等偏态分布。

3. ​非参数检验​

• ​单位根检验（ADF Test）​​ 判断时序是否平稳，若p值<0.05则拒绝存在单位根的原假设，适用于检测数据漂移（如数据库连接数突变）。

​二、机器学习方法​

1. ​无监督学习​

• ​孤立森林（Isolation Forest）​​ 通过随机分割数据空间识别异常，适用于高维、小样本场景。例如检测Redis内存碎片率突增。
• ​One-Class SVM​ 学习正常数据边界，适用于特征维度高且异常样本少的场景（如数据库死锁事件检测）。
• ​聚类算法（K-Means/DBSCAN）​​ 将数据聚类后标记离群簇，适合多维度关联分析（如结合QPS、锁等待、缓存命中率的多指标异常）。

2. ​监督学习​

• ​随机森林/XGBoost​ 基于标注数据训练分类模型，适用于有明确异常标签的场景（如已知SQL注入攻击日志）。
• ​LSTM-Autoencoder​ 结合LSTM时序建模与自编码器重构误差检测异常，适用于复杂时序模式（如分布式事务响应时间波动）。

​三、深度学习方法​

1. ​时序建模​

• ​LSTM/GRU​ 捕捉长期依赖关系，预测指标趋势并检测偏离。例如预测数据库TPS并识别实际值偏离预测值的异常。
• ​Transformer​ 通过自注意力机制处理长周期依赖，适合多变量时序（如同时监控CPU、内存、磁盘I/O的关联性）。

2. ​生成对抗网络（GAN）​​

• ​异常重构检测​ 训练GAN生成正常数据分布，重建误差大的样本视为异常。适用于图像类日志分析（如解析数据库错误日志的异常模式）。

3. ​图神经网络（GNN）​​

• ​异常传播分析​ 将数据库组件（表、索引、事务）建模为图节点，通过图卷积网络（GCN）识别异常传播路径（如锁等待引发的级联故障）。

​四、混合方法​

1. ​统计+机器学习​

• ​残差分析+孤立森林​ 先用ARIMA/LSTM预测指标值，计算预测值与实际值的残差，再通过孤立森林检测残差异常。适用于周期性指标（如每日订单量）。

2. ​规则引擎+深度学习​

• ​阈值告警+LSTM异常确认​ 初始过滤使用固定阈值告警，再通过LSTM模型二次验证，降低误报率。例如检测数据库连接数突增时，先触发阈值告警，再通过LSTM判断是否为真实攻击。

3. ​多模态融合​

• ​文本日志+时序指标联合检测​ 使用BERT解析错误日志（如“Deadlock found”），同时分析对应时间段的锁等待指标，综合判断异常类型。