## 前言

上一篇搞定了主机监控，但生产系统还有数据库、缓存、Web 服务器、消息队列等中间件。本篇手把手部署 MySQL、Redis、Nginx、Kafka 四大 Exporter，覆盖最常见的中间件监控需求。

---

## 一、MySQL Exporter

### 安装

```bash
# 下载
wget https://github.com/prometheus/mysqld_exporter/releases/download/v0.15.0/mysqld_exporter-0.15.0.linux-amd64.tar.gz
tar xzf mysqld_exporter-0.15.0.linux-amd64.tar.gz
cd mysqld_exporter-0.15.0.linux-amd64

# 创建用户
sudo useradd --no-create-home --shell /bin/false mysqld_exporter
sudo cp mysqld_exporter /usr/local/bin/
```

### MySQL 授权

```sql
-- 创建监控用户
CREATE USER 'exporter'@'localhost' IDENTIFIED BY 'exporter_password';
GRANT PROCESS, REPLICATION CLIENT, SELECT ON *.* TO 'exporter'@'localhost';
FLUSH PRIVILEGES;

-- 全局权限
GRANT SELECT ON performance_schema.* TO 'exporter'@'localhost';
```

### 配置文件

```ini
# /etc/mysqld_exporter/my.cnf
[client]
host=localhost
port=3306
user=exporter
password=exporter_password
```

```bash
# 设置权限（重要！）
sudo chown -R mysqld_exporter:mysqld_exporter /etc/mysqld_exporter
sudo chmod 600 /etc/mysqld_exporter/my.cnf
```

### Systemd 服务

```ini
# /etc/systemd/system/mysqld_exporter.service
[Unit]
Description=MySQL Exporter
After=network.target mysql.service

[Service]
User=mysqld_exporter
Group=mysqld_exporter
Type=simple
ExecStart=/usr/local/bin/mysqld_exporter \
  --config.my-cnf=/etc/mysqld_exporter/my.cnf \
  --web.listen-address=0.0.0.0:9104 \
  --collect.info_schema.innodb_metrics \
  --collect.perf_schema.events_statements_digest \
  --collect.perf_schema.file_instances \
  --collect.global_status \
  --collect.global_variables \
  --collect.slave_status
Restart=on-failure

[Install]
WantedBy=multi-user.target
```

### 核心指标

```promql
# 1. MySQL 连接数
mysql_global_status_threads_connected

# 2. 最大连接数
mysql_global_variables_max_connections

# 3. 连接使用率
mysql_global_status_threads_connected / mysql_global_variables_max_connections * 100

# 4. QPS（每秒查询数）
rate(mysql_global_status_queries[1m])

# 5. TPS（每秒事务数）
rate(mysql_global_status_commands_total{command="commit"}[1m]) + rate(mysql_global_status_commands_total{command="rollback"}[1m])

# 6. 慢查询数
mysql_global_status_slow_queries

# 7. Buffer Pool 命中率
(1 - rate(mysql_global_status_innodb_buffer_pool_reads[5m]) / rate(mysql_global_status_innodb_buffer_pool_read_requests[5m])) * 100

# 8. 主从延迟
mysql_slave_status_seconds_behind_master

# 9. 每秒 SELECT/INSERT/UPDATE/DELETE
rate(mysql_global_status_commands_total{command="select"}[1m])
rate(mysql_global_status_commands_total{command="insert"}[1m])
rate(mysql_global_status_commands_total{command="update"}[1m])
rate(mysql_global_status_commands_total{command="delete"}[1m])

# 10. 表锁等待
rate(mysql_global_status_table_locks_waited[1m])
```

---

## 二、Redis Exporter

### Docker 部署

```bash
docker run -d \
  --name redis-exporter \
  -p 9121:9121 \
  -e REDIS_ADDR=redis://redis:6379 \
  -e REDIS_PASSWORD=yourpassword \
  oliver006/redis_exporter:v1.59.0
```

### 二进制部署

```bash
wget https://github.com/oliver006/redis_exporter/releases/download/v1.59.0/redis_exporter-v1.59.0.linux-amd64.tar.gz
tar xzf redis_exporter-v1.59.0.linux-amd64.tar.gz
cd redis_exporter-v1.59.0.linux-amd64
sudo cp redis_exporter /usr/local/bin/
```

```ini
# /etc/systemd/system/redis_exporter.service
[Unit]
Description=Redis Exporter
After=network.target redis.service

[Service]
Type=simple
ExecStart=/usr/local/bin/redis_exporter \
  --redis.addr=redis://localhost:6379 \
  --redis.password=yourpassword \
  --web.listen-address=0.0.0.0:9121 \
  --redis.file=/var/lib/redis/redis.cmd \
  --include-timestamps
Restart=on-failure

[Install]
WantedBy=multi-user.target
```

### 自定义命令采集

```bash
# --redis.file 可以指定自定义命令
cat > /var/lib/redis/redis.cmd << 'EOF'
check_backlog,CLUSTER INFO,cluster_state
key_count,DBSIZE
queue_length,LLEN,messages
EOF
```

### 核心指标

```promql
# 1. 内存使用
redis_memory_used_bytes / redis_memory_max_bytes * 100

# 2. 连接数
redis_connected_clients

# 3. QPS
rate(redis_commands_processed_total[1m])

# 4. 命中率
redis_keyspace_hits_total / (redis_keyspace_hits_total + redis_keyspace_misses_total) * 100

# 5. 键过期/淘汰
rate(redis_expired_keys_total[1m])
rate(redis_evicted_keys_total[1m])

# 6. 主从延迟
redis_replication_offset_diff

# 7. 每秒命令数
rate(redis_commands_total{cmd="get"}[1m])
rate(redis_commands_total{cmd="set"}[1m])
rate(redis_commands_total{cmd="hget"}[1m])
rate(redis_commands_total{cmd="hset"}[1m])

# 8. 各 DB 键数量
redis_db_keys{db="db0"}
redis_db_keys{db="db1"}
```

---

## 三、Nginx Exporter

### Nginx 配置 Stub Status

```nginx
# nginx.conf
server {
    listen 80;
    server_name localhost;
    
    location /stub_status {
        stub_status on;
        access_log off;
        allow 127.0.0.1;
        allow 10.0.0.0/8;
        deny all;
    }
    
    location /metrics {
        stub_status on;
        access_log off;
        allow 127.0.0.1;
        deny all;
    }
}
```

```bash
# 验证
curl http://localhost/stub_status
# Active connections: 15
# server accepts handled requests
# 8456 8456 32391
# Reading: 0 Writing: 1 Waiting: 14
```

### 部署 nginx-prometheus-exporter

```bash
docker run -d \
  --name nginx-exporter \
  -p 9113:9113 \
  nginx/nginx-prometheus-exporter:1.1.0 \
  -nginx.scrape-uri=http://nginx:80/stub_status
```

### 核心指标

```promql
# 1. 活跃连接数
nginx_connections_active

# 2. 每秒请求数
rate(nginx_http_requests_total[1m])

# 3. 连接状态
nginx_connections_reading
nginx_connections_writing
nginx_connections_waiting

# 4. 总连接数
rate(nginx_connections_accepted[1m])

# 5. 丢弃连接数
rate(nginx_connections_accepted[1m]) - rate(nginx_connections_handled[1m])
```

### 如果用 Nginx Plus

```yaml
# Nginx Plus 有内置 API
scrape_configs:
  - job_name: 'nginx-plus'
    static_configs:
      - targets: ['nginx:80']
    metrics_path: /api/metrics/prometheus
```

---

## 四、Kafka Exporter

### 部署

```bash
docker run -d \
  --name kafka-exporter \
  -p 9308:9308 \
  -e KAFKA_SERVER=kafka:9092 \
  danielqsj/kafka_exporter:v1.8.0 \
  --kafka.server=kafka:9092 \
  --kafka.server=kafka2:9092 \
  --kafka.server=kafka3:9092 \
  --topic.filter=^(important|critical).*$ \
  --group.filter=^consumer-group-.*$ \
  --concurrent-enable \
  --concurrent-high \
  --log.level=info
```

### 核心指标

```promql
# 1. Broker 状态
kafka_brokers

# 2. Topic 分区数
kafka_topic_partitions

# 3. 消费者组 Lag（积压）
kafka_consumergroup_lag

# 4. 分区 Lag
kafka_consumergroup_lag_sum

# 5. Offset
kafka_topic_partition_current_offset

# 6. 副本状态
kafka_topic_partition_leader
kafka_topic_partition_under_replicated_partition

# 告警：Lag 超过阈值
kafka_consumergroup_lag > 10000

# 告警：消费者组离线
kafka_consumergroup_members == 0
```

### JMX Exporter（更全指标）

```yaml
# Kafka JMX 配置（在 Kafka 启动参数中添加）
# JMX_PORT=9999
# KAFKA_JMX_OPTS="-javaagent:/opt/jmx_exporter/jmx_prometheus_javaagent.jar=9404:/opt/jmx_exporter/kafka.yml"
```

```yaml
# kafka.yml —— JMX Exporter 配置
rules:
  - pattern: kafka.server<type=(.+), name=(.+)><>Value
    name: kafka_$1_$2
    type: gauge
  - pattern: kafka.server<type=(.+), name=(.+)><>Count
    name: kafka_$1_$2_total
    type: counter
  - pattern: kafka.server<type=(.+), name=(.+)PerSec><>Count
    name: kafka_$1_$2_total
    type: counter
  - pattern: kafka.network<type=(.+), name=(.+)><>Value
    name: kafka_network_$1_$2
    type: gauge
  - pattern: kafka.log<type=(.+), name=(.+)><>Value
    name: kafka_log_$1_$2
    type: gauge
```

```promql
# JMX 指标示例
# ISR（In-Sync Replicas）数量
kafka_server_replicamanager_underreplicatedpartitions

# 请求延迟
rate(kafka_network_requestmetrics_requestqueuetimems_total[5m])

# 网络请求/响应速率
rate(kafka_network_requestmetrics_requests_total[5m])
```

---

## 五、Prometheus 统一采集配置

```yaml
scrape_configs:
  # MySQL
  - job_name: 'mysql'
    static_configs:
      - targets: ['mysql-exporter:9104']
        labels:
          db_role: 'primary'
    metric_relabel_configs:
      - source_labels: [__name__]
        regex: 'mysql_global_status_.*'
        action: keep
    
  # Redis
  - job_name: 'redis'
    static_configs:
      - targets: ['redis-exporter:9121']
        labels:
          redis_role: 'master'
    metric_relabel_configs:
      - source_labels: [__name__]
        regex: 'go_.*'
        action: drop
  
  # Nginx
  - job_name: 'nginx'
    static_configs:
      - targets: ['nginx-exporter:9113']
  
  # Kafka
  - job_name: 'kafka'
    static_configs:
      - targets: ['kafka-exporter:9308']
  
  # Kafka JMX
  - job_name: 'kafka-jmx'
    static_configs:
      - targets: ['kafka-jmx:9404']
```

---

## 六、通用告警规则

```yaml
groups:
  - name: middleware-alerts
    rules:
      # MySQL
      - alert: MySQLDown
        expr: mysql_up == 0
        for: 2m
        labels:
          severity: critical
        annotations:
          summary: "MySQL is down on {{ $labels.instance }}"
      
      - alert: MySQLHighConnections
        expr: mysql_global_status_threads_connected / mysql_global_variables_max_connections * 100 > 80
        for: 5m
        labels:
          severity: warning
        annotations:
          summary: "MySQL connections > 80% on {{ $labels.instance }}"
      
      - alert: MySQLReplicationLag
        expr: mysql_slave_status_seconds_behind_master > 300
        for: 5m
        labels:
          severity: warning
        annotations:
          summary: "MySQL replication lag > 5min"
      
      # Redis
      - alert: RedisDown
        expr: redis_up == 0
        for: 2m
        labels:
          severity: critical
      
      - alert: RedisMemoryHigh
        expr: redis_memory_used_bytes / redis_memory_max_bytes * 100 > 90
        for: 5m
        labels:
          severity: warning
      
      - alert: RedisEvictions
        expr: rate(redis_evicted_keys_total[1m]) > 0
        for: 5m
        labels:
          severity: warning
      
      # Kafka
      - alert: KafkaConsumerLag
        expr: kafka_consumergroup_lag > 10000
        for: 10m
        labels:
          severity: warning
      
      - alert: KafkaUnderReplicatedPartitions
        expr: kafka_topic_partition_under_replicated_partition > 0
        for: 5m
        labels:
          severity: critical
```

> ⚠️ **踩坑提示**：
> - MySQL Exporter 的 my.cnf 文件权限必须 600，否则安全告警
> - Redis Exporter 密码不要在命令行明文，用环境变量或文件
> - Kafka Exporter 连接 Kafka 需要 `--kafka.server` 指定所有 Broker
> - JMX Exporter 需要 Java Agent 方式运行，不能用独立进程

---

## 要点回顾

| Exporter | 端口 | 关键指标 |
|---------|------|---------|
| MySQL | 9104 | 连接数、QPS、复制延迟、Buffer Pool |
| Redis | 9121 | 内存使用、命中率、QPS、淘汰 |
| Nginx | 9113 | 活跃连接、QPS、丢弃连接 |
| Kafka | 9308 | Lag、分区、ISR、Broker |
| Kafka JMX | 9404 | 全量 JMX 指标 |

- MySQL Exporter 需要创建监控用户并授权
- Redis Exporter 支持自定义命令采集业务指标
- Nginx 需先开启 stub_status 模块
- Kafka Exporter 关注 Lag，JMX Exporter 关注性能
- 用 metric_relabel_configs 过滤不需要的指标

---

## 下一篇预告

中间件监控搞定后，下一篇 **【Prometheus·Exporter 篇】Blackbox Exporter：黑盒监控与网络探测** 将讲解如何从外部探测服务的可用性。

上一篇搞定了主机监控，但生产系统还有数据库、缓存、Web 服务器、消息队列等中间件。本篇手把手部署 MySQL、Redis、Nginx、Kafka 四大 Exporter，覆盖最常见的中间件监控需求。

【Prometheus·Exporter 篇】常用 Exporter：MySQL、Redis、Nginx、Kafka 部署指南

研发部经理

运维

数据库

开发工具

本文详解MySQL、Redis、Nginx、Kafka四大Exporter部署流程，涵盖下载安装、配置、Systemd服务及核心监控指标，提供Prometheus统一采集配置与告警规则，包括连接数、QPS、内存使用、Lag积压等关键指标及踩坑提示，助力构建完整中间件监控体系。

让每一个 Agent，都跑在云上

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

【Prometheus·Exporter 篇】常用 Exporter：MySQL、Redis、Nginx、Kafka 部署指南-腾讯云开发者社区-腾讯云

【Prometheus·Exporter 篇】常用 Exporter：MySQL、Redis、Nginx、Kafka 部署指南

【Prometheus·Exporter 篇】常用 Exporter：MySQL、Redis、Nginx、Kafka 部署指南

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐