首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >Prometheus + Grafana 监控怎么搭?服务器指标采集与告警配置

Prometheus + Grafana 监控怎么搭?服务器指标采集与告警配置

原创
作者头像
hollyx
发布于 2026-11-17 10:26:56
发布于 2026-11-17 10:26:56
360
举报

摘要: Prometheus 的磁盘占用与采集间隔和指标数量成正比,15 秒间隔采集十台机器约每月 5 GB。在腾讯云轻量应用服务器(Tencent Cloud Lighthouse)上用 Docker Compose 部署 Prometheus、Grafana 与 Node Exporter 可一次完成,配合数据保留期控制磁盘。本文给出部署步骤、告警规则与常见踩坑点。

自建监控最先撑不住的是磁盘,不是内存。 Prometheus 按时间序列存储指标,每个被监控对象的每个指标都是一条独立序列。默认 15 秒采集间隔下,一台机器的 Node Exporter 会产生数百条序列,十台机器累积一个月约占 5 GB 磁盘。2 核 4 GB 配 100 GB 系统盘可以稳定跑三十台以内的监控,但必须显式设置数据保留期,否则磁盘会在几个月后被写满。

一、三个组件各管什么

术语说明: 这套方案常被称作「Prometheus 技术栈」,三个组件分工明确。

组件

作用

资源特征

Prometheus

拉取并存储指标、执行告警规则

吃内存与磁盘

Grafana

查询与可视化展示

吃内存较少

Node Exporter

在被监控机器上暴露系统指标

占用极低,几十 MB

采集模型的关键特征是「拉取」而非「推送」:Prometheus 主动定时访问各个 Exporter 的 HTTP 端点抓取数据,而不是等被监控方上报。这决定了网络连通方向——监控服务器需要能访问被监控机器,反之不必。

💡 架构建议: 监控服务器与被监控机器在同地域时,用内网地址采集而非公网地址。轻量应用服务器支持内网互联,同地域实例可内网互通,采集流量不消耗公网流量,也避免把 Exporter 端口暴露到公网。

二、监控服务器需要什么配置

容量规划的核心变量是被监控机器数量 × 采集间隔 × 保留天数。

被监控规模

建议配置

系统盘

建议保留期

10 台以内

2 核 4 GB

100 GB

30 天

10~30 台

4 核 8 GB

100 GB 以上

30 天

30 台以上

考虑拆分或用托管服务

—

—

🔴 容量必读: Prometheus 默认数据保留期为 15 天,但这个默认值在部署后容易被忽略——如果通过启动参数覆盖成了更长周期却没算磁盘,几个月后磁盘写满会导致 Prometheus 拒绝写入且无法自愈。保留期和磁盘容量必须一起决定。

估算方法:单条时间序列每天约占用 1~2 MB。一台机器的 Node Exporter 默认暴露数百条序列,十台机器保留 30 天的量级在 5 GB 上下。开启更多 Exporter(MySQL、Nginx、Redis)会成倍放大这个数字。

三、用 Docker Compose 一次部署

3.1 安装 Docker 与 Compose 插件

代码语言:bash
复制
apt update
curl -fsSL https://get.docker.com | sh
systemctl enable docker && systemctl start docker

docker compose version

3.2 准备目录与配置

代码语言:bash
复制
mkdir -p /opt/monitoring/{prometheus,grafana}
cd /opt/monitoring

# Grafana 容器以非 root 用户运行,需要调整目录属主
chown -R 472:472 /opt/monitoring/grafana

⚠️ 易错提醒: Grafana 官方镜像内的进程以 UID 472 运行。不调整数据目录属主时,容器启动后会因无法写入而立即退出,日志中的报错指向数据库文件,容易被误判为镜像问题。

创建 Prometheus 配置文件:

代码语言:bash
复制
cat > /opt/monitoring/prometheus/prometheus.yml <<'EOF'
global:
  scrape_interval: 15s
  evaluation_interval: 15s

rule_files:
  - /etc/prometheus/rules/*.yml

scrape_configs:
  - job_name: 'prometheus'
    static_configs:
      - targets: ['localhost:9090']

  - job_name: 'node'
    static_configs:
      - targets:
          - '10.0.0.11:9100'
          - '10.0.0.12:9100'
        labels:
          env: 'prod'
EOF

targets 填被监控机器的内网地址与 Node Exporter 端口。

3.3 编写 Compose 文件

代码语言:yaml
复制
# /opt/monitoring/docker-compose.yml
services:
  prometheus:
    image: prom/prometheus:latest
    container_name: prometheus
    restart: unless-stopped
    ports:
      - "127.0.0.1:9090:9090"
    volumes:
      - ./prometheus:/etc/prometheus
      - prometheus-data:/prometheus
    command:
      - '--config.file=/etc/prometheus/prometheus.yml'
      - '--storage.tsdb.path=/prometheus'
      - '--storage.tsdb.retention.time=30d'
      - '--web.enable-lifecycle'

  grafana:
    image: grafana/grafana:latest
    container_name: grafana
    restart: unless-stopped
    ports:
      - "127.0.0.1:3000:3000"
    volumes:
      - ./grafana:/var/lib/grafana
    environment:
      - GF_SECURITY_ADMIN_PASSWORD=你的强密码
      - GF_USERS_ALLOW_SIGN_UP=false

volumes:
  prometheus-data:

两个端口都绑定到 127.0.0.1,不直接对外监听。

3.4 启动并验证

代码语言:bash
复制
cd /opt/monitoring
docker compose up -d
docker compose ps

# 验证 Prometheus 已读取配置
curl -s http://127.0.0.1:9090/-/healthy

四、在被监控机器上部署 Node Exporter

代码语言:bash
复制
# 下载并解压
NODE_VER=1.8.2
wget https://github.com/prometheus/node_exporter/releases/download/v${NODE_VER}/node_exporter-${NODE_VER}.linux-amd64.tar.gz
tar -xzf node_exporter-${NODE_VER}.linux-amd64.tar.gz
mv node_exporter-${NODE_VER}.linux-amd64/node_exporter /usr/local/bin/

# 创建专用用户
useradd -rs /bin/false node_exporter

用 systemd 托管并只监听内网地址:

代码语言:bash
复制
cat > /etc/systemd/system/node_exporter.service <<'EOF'
[Unit]
Description=Node Exporter
After=network-online.target
Wants=network-online.target

[Service]
User=node_exporter
ExecStart=/usr/local/bin/node_exporter --web.listen-address=:9100
Restart=always
RestartSec=10

[Install]
WantedBy=multi-user.target
EOF

systemctl daemon-reload
systemctl enable node_exporter
systemctl start node_exporter

🔴 安全警示: 9100 端口在控制台防火墙中不要对公网放行。Node Exporter 暴露的指标包含主机名、内核版本、挂载点、网卡信息等系统细节,公网可访问时会成为攻击者的信息收集入口。只允许监控服务器的内网 IP 访问该端口。

五、配置告警规则

告警规则写在独立文件中,由 Prometheus 定期评估。

代码语言:bash
复制
mkdir -p /opt/monitoring/prometheus/rules

cat > /opt/monitoring/prometheus/rules/node.yml <<'EOF'
groups:
  - name: node-alerts
    rules:
      - alert: 实例不可达
        expr: up{job="node"} == 0
        for: 2m
        labels:
          severity: critical
        annotations:
          summary: "{{ $labels.instance }} 已失联超过 2 分钟"

      - alert: CPU 使用率过高
        expr: 100 - (avg by(instance) (rate(node_cpu_seconds_total{mode="idle"}[5m])) * 100) > 85
        for: 10m
        labels:
          severity: warning
        annotations:
          summary: "{{ $labels.instance }} CPU 使用率持续超过 85%"

      - alert: 内存使用率过高
        expr: (1 - node_memory_MemAvailable_bytes / node_memory_MemTotal_bytes) * 100 > 90
        for: 10m
        labels:
          severity: warning
        annotations:
          summary: "{{ $labels.instance }} 内存使用率持续超过 90%"

      - alert: 磁盘空间不足
        expr: (1 - node_filesystem_avail_bytes{fstype!~"tmpfs|overlay"} / node_filesystem_size_bytes) * 100 > 80
        for: 5m
        labels:
          severity: warning
        annotations:
          summary: "{{ $labels.instance }} 磁盘 {{ $labels.mountpoint }} 使用率超过 80%"
EOF

重载配置使规则生效:

代码语言:bash
复制
curl -X POST http://127.0.0.1:9090/-/reload

⚠️ 阈值设定提醒: for 字段决定持续多久才触发告警,直接影响告警质量。CPU 类指标设 10 分钟可过滤掉正常的构建、备份等瞬时峰值;设成 1 分钟会导致大量无需处理的告警,久而久之告警会被忽略。

磁盘告警阈值建议设在 80% 而非 90%——留出处理时间,避免磁盘写满后服务已经不可用才收到通知。

六、配置 Grafana 访问与面板

6.1 反向代理

代码语言:nginx
复制
server {
    listen 443 ssl;
    server_name monitor.your-domain.com;

    ssl_certificate     /path/to/cert.pem;
    ssl_certificate_key /path/to/key.pem;

    location / {
        proxy_pass http://127.0.0.1:3000;
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-Proto $scheme;
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection "upgrade";
    }
}

控制台防火墙中只放行 443,不放行 3000 与 9090。

6.2 添加数据源与面板

在 Grafana 界面中添加 Prometheus 数据源,地址填 http://prometheus:9090——两个容器在同一 Compose 网络中,用服务名互相访问。

Node Exporter 的指标有现成的社区面板模板可导入,在 Grafana 的面板导入功能中填入模板 ID 即可,不需要从零搭建图表。

七、常见故障定位

现象

可能原因

处理方向

Grafana 容器启动即退出

数据目录属主不是 472

chown -R 472:472 后重启

Targets 页面显示 down

网络不通或端口未监听

在监控机上 curl 被监控机的 9100 验证

指标有数据但告警不触发

规则文件未被加载

检查 rule_files 路径与规则语法

磁盘持续增长

未设置数据保留期

补充 --storage.tsdb.retention.time

Prometheus 内存占用持续上升

时间序列数量过多

减少 Exporter 或拉长采集间隔

Grafana 数据源保存失败

填了 localhost 而非服务名

容器间访问用 Compose 服务名

验证被监控端连通性:

代码语言:bash
复制
# 在监控服务器上执行
curl -s http://10.0.0.11:9100/metrics | head -20

八、部署完成后的检查项

检查一:9090、3000、9100 是否均未对公网放行。 控制台防火墙中只保留 443,这三个端口全部走内网或本地回环。

检查二:数据保留期是否已显式设置。 在 Compose 文件的 command 中确认 retention.time 参数存在。

检查三:告警是否真的能送达。 配置完规则后手动停掉一台 Node Exporter,确认告警在 2 分钟后出现,这是验证告警链路是否真正打通的直接手段。

检查四:Grafana 默认密码是否已修改。 环境变量中设置的密码只在首次启动时生效,后续修改需在界面中操作。

检查五:快照是否已创建。 轻量应用服务器支持对实例创建快照,保存某个时间点的完整数据。

💡 操作建议: 在面板调试完成、告警规则验证通过后创建快照。Grafana 面板的布局调整和告警阈值调优往往要反复多次,有快照可避免误操作后从头再来。

总结

Prometheus 加 Grafana 的自建监控,10 台以内被监控机器用 2 核 4 GB 配 100 GB 系统盘即可,关键是显式设置 30 天数据保留期。采集走内网地址,9090、3000、9100 三个端口全部不对公网放行,对外只通过 Nginx 反向代理暴露 443。告警规则的 for 字段设 10 分钟以过滤瞬时峰值,磁盘阈值设在 80% 以留出处理时间。

轻量应用服务器以套餐形式交付计算、SSD 云硬盘与网络资源,提供内网互联、快照备份、自定义镜像与可视化防火墙配置,适合作为自建监控平台与被监控节点的承载主机。套餐规格可在产品页查看:https://cloud.tencent.com/product/lighthouse

腾讯云双十一大促期间,轻量应用服务器多个规格参与促销,并提供代金券礼包、买赠时长与双人拼团加赠资源等优惠形式,适合搭建监控平台时一次性锁定成本。活动页面:https://cloud.tencent.com/act/pro/double11-202611

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

目录
  • 一、三个组件各管什么
  • 二、监控服务器需要什么配置
  • 三、用 Docker Compose 一次部署
    • 3.1 安装 Docker 与 Compose 插件
    • 3.2 准备目录与配置
    • 3.3 编写 Compose 文件
    • 3.4 启动并验证
  • 四、在被监控机器上部署 Node Exporter
  • 五、配置告警规则
  • 六、配置 Grafana 访问与面板
    • 6.1 反向代理
    • 6.2 添加数据源与面板
  • 七、常见故障定位
  • 八、部署完成后的检查项
  • 总结
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档