
摘要: Prometheus 的磁盘占用与采集间隔和指标数量成正比,15 秒间隔采集十台机器约每月 5 GB。在腾讯云轻量应用服务器(Tencent Cloud Lighthouse)上用 Docker Compose 部署 Prometheus、Grafana 与 Node Exporter 可一次完成,配合数据保留期控制磁盘。本文给出部署步骤、告警规则与常见踩坑点。
自建监控最先撑不住的是磁盘,不是内存。 Prometheus 按时间序列存储指标,每个被监控对象的每个指标都是一条独立序列。默认 15 秒采集间隔下,一台机器的 Node Exporter 会产生数百条序列,十台机器累积一个月约占 5 GB 磁盘。2 核 4 GB 配 100 GB 系统盘可以稳定跑三十台以内的监控,但必须显式设置数据保留期,否则磁盘会在几个月后被写满。
术语说明: 这套方案常被称作「Prometheus 技术栈」,三个组件分工明确。
组件 | 作用 | 资源特征 |
|---|---|---|
Prometheus | 拉取并存储指标、执行告警规则 | 吃内存与磁盘 |
Grafana | 查询与可视化展示 | 吃内存较少 |
Node Exporter | 在被监控机器上暴露系统指标 | 占用极低,几十 MB |
采集模型的关键特征是「拉取」而非「推送」:Prometheus 主动定时访问各个 Exporter 的 HTTP 端点抓取数据,而不是等被监控方上报。这决定了网络连通方向——监控服务器需要能访问被监控机器,反之不必。
💡 架构建议: 监控服务器与被监控机器在同地域时,用内网地址采集而非公网地址。轻量应用服务器支持内网互联,同地域实例可内网互通,采集流量不消耗公网流量,也避免把 Exporter 端口暴露到公网。
容量规划的核心变量是被监控机器数量 × 采集间隔 × 保留天数。
被监控规模 | 建议配置 | 系统盘 | 建议保留期 |
|---|---|---|---|
10 台以内 | 2 核 4 GB | 100 GB | 30 天 |
10~30 台 | 4 核 8 GB | 100 GB 以上 | 30 天 |
30 台以上 | 考虑拆分或用托管服务 | — | — |
🔴 容量必读: Prometheus 默认数据保留期为 15 天,但这个默认值在部署后容易被忽略——如果通过启动参数覆盖成了更长周期却没算磁盘,几个月后磁盘写满会导致 Prometheus 拒绝写入且无法自愈。保留期和磁盘容量必须一起决定。
估算方法:单条时间序列每天约占用 1~2 MB。一台机器的 Node Exporter 默认暴露数百条序列,十台机器保留 30 天的量级在 5 GB 上下。开启更多 Exporter(MySQL、Nginx、Redis)会成倍放大这个数字。
apt update
curl -fsSL https://get.docker.com | sh
systemctl enable docker && systemctl start docker
docker compose versionmkdir -p /opt/monitoring/{prometheus,grafana}
cd /opt/monitoring
# Grafana 容器以非 root 用户运行,需要调整目录属主
chown -R 472:472 /opt/monitoring/grafana⚠️ 易错提醒: Grafana 官方镜像内的进程以 UID 472 运行。不调整数据目录属主时,容器启动后会因无法写入而立即退出,日志中的报错指向数据库文件,容易被误判为镜像问题。
创建 Prometheus 配置文件:
cat > /opt/monitoring/prometheus/prometheus.yml <<'EOF'
global:
scrape_interval: 15s
evaluation_interval: 15s
rule_files:
- /etc/prometheus/rules/*.yml
scrape_configs:
- job_name: 'prometheus'
static_configs:
- targets: ['localhost:9090']
- job_name: 'node'
static_configs:
- targets:
- '10.0.0.11:9100'
- '10.0.0.12:9100'
labels:
env: 'prod'
EOFtargets 填被监控机器的内网地址与 Node Exporter 端口。
# /opt/monitoring/docker-compose.yml
services:
prometheus:
image: prom/prometheus:latest
container_name: prometheus
restart: unless-stopped
ports:
- "127.0.0.1:9090:9090"
volumes:
- ./prometheus:/etc/prometheus
- prometheus-data:/prometheus
command:
- '--config.file=/etc/prometheus/prometheus.yml'
- '--storage.tsdb.path=/prometheus'
- '--storage.tsdb.retention.time=30d'
- '--web.enable-lifecycle'
grafana:
image: grafana/grafana:latest
container_name: grafana
restart: unless-stopped
ports:
- "127.0.0.1:3000:3000"
volumes:
- ./grafana:/var/lib/grafana
environment:
- GF_SECURITY_ADMIN_PASSWORD=你的强密码
- GF_USERS_ALLOW_SIGN_UP=false
volumes:
prometheus-data:两个端口都绑定到 127.0.0.1,不直接对外监听。
cd /opt/monitoring
docker compose up -d
docker compose ps
# 验证 Prometheus 已读取配置
curl -s http://127.0.0.1:9090/-/healthy# 下载并解压
NODE_VER=1.8.2
wget https://github.com/prometheus/node_exporter/releases/download/v${NODE_VER}/node_exporter-${NODE_VER}.linux-amd64.tar.gz
tar -xzf node_exporter-${NODE_VER}.linux-amd64.tar.gz
mv node_exporter-${NODE_VER}.linux-amd64/node_exporter /usr/local/bin/
# 创建专用用户
useradd -rs /bin/false node_exporter用 systemd 托管并只监听内网地址:
cat > /etc/systemd/system/node_exporter.service <<'EOF'
[Unit]
Description=Node Exporter
After=network-online.target
Wants=network-online.target
[Service]
User=node_exporter
ExecStart=/usr/local/bin/node_exporter --web.listen-address=:9100
Restart=always
RestartSec=10
[Install]
WantedBy=multi-user.target
EOF
systemctl daemon-reload
systemctl enable node_exporter
systemctl start node_exporter🔴 安全警示: 9100 端口在控制台防火墙中不要对公网放行。Node Exporter 暴露的指标包含主机名、内核版本、挂载点、网卡信息等系统细节,公网可访问时会成为攻击者的信息收集入口。只允许监控服务器的内网 IP 访问该端口。
告警规则写在独立文件中,由 Prometheus 定期评估。
mkdir -p /opt/monitoring/prometheus/rules
cat > /opt/monitoring/prometheus/rules/node.yml <<'EOF'
groups:
- name: node-alerts
rules:
- alert: 实例不可达
expr: up{job="node"} == 0
for: 2m
labels:
severity: critical
annotations:
summary: "{{ $labels.instance }} 已失联超过 2 分钟"
- alert: CPU 使用率过高
expr: 100 - (avg by(instance) (rate(node_cpu_seconds_total{mode="idle"}[5m])) * 100) > 85
for: 10m
labels:
severity: warning
annotations:
summary: "{{ $labels.instance }} CPU 使用率持续超过 85%"
- alert: 内存使用率过高
expr: (1 - node_memory_MemAvailable_bytes / node_memory_MemTotal_bytes) * 100 > 90
for: 10m
labels:
severity: warning
annotations:
summary: "{{ $labels.instance }} 内存使用率持续超过 90%"
- alert: 磁盘空间不足
expr: (1 - node_filesystem_avail_bytes{fstype!~"tmpfs|overlay"} / node_filesystem_size_bytes) * 100 > 80
for: 5m
labels:
severity: warning
annotations:
summary: "{{ $labels.instance }} 磁盘 {{ $labels.mountpoint }} 使用率超过 80%"
EOF重载配置使规则生效:
curl -X POST http://127.0.0.1:9090/-/reload⚠️ 阈值设定提醒:
for 字段决定持续多久才触发告警,直接影响告警质量。CPU 类指标设 10 分钟可过滤掉正常的构建、备份等瞬时峰值;设成 1 分钟会导致大量无需处理的告警,久而久之告警会被忽略。
磁盘告警阈值建议设在 80% 而非 90%——留出处理时间,避免磁盘写满后服务已经不可用才收到通知。
server {
listen 443 ssl;
server_name monitor.your-domain.com;
ssl_certificate /path/to/cert.pem;
ssl_certificate_key /path/to/key.pem;
location / {
proxy_pass http://127.0.0.1:3000;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-Proto $scheme;
proxy_http_version 1.1;
proxy_set_header Upgrade $http_upgrade;
proxy_set_header Connection "upgrade";
}
}控制台防火墙中只放行 443,不放行 3000 与 9090。
在 Grafana 界面中添加 Prometheus 数据源,地址填 http://prometheus:9090——两个容器在同一 Compose 网络中,用服务名互相访问。
Node Exporter 的指标有现成的社区面板模板可导入,在 Grafana 的面板导入功能中填入模板 ID 即可,不需要从零搭建图表。
现象 | 可能原因 | 处理方向 |
|---|---|---|
Grafana 容器启动即退出 | 数据目录属主不是 472 |
|
Targets 页面显示 down | 网络不通或端口未监听 | 在监控机上 curl 被监控机的 9100 验证 |
指标有数据但告警不触发 | 规则文件未被加载 | 检查 |
磁盘持续增长 | 未设置数据保留期 | 补充 |
Prometheus 内存占用持续上升 | 时间序列数量过多 | 减少 Exporter 或拉长采集间隔 |
Grafana 数据源保存失败 | 填了 localhost 而非服务名 | 容器间访问用 Compose 服务名 |
验证被监控端连通性:
# 在监控服务器上执行
curl -s http://10.0.0.11:9100/metrics | head -20检查一:9090、3000、9100 是否均未对公网放行。 控制台防火墙中只保留 443,这三个端口全部走内网或本地回环。
检查二:数据保留期是否已显式设置。 在 Compose 文件的 command 中确认 retention.time 参数存在。
检查三:告警是否真的能送达。 配置完规则后手动停掉一台 Node Exporter,确认告警在 2 分钟后出现,这是验证告警链路是否真正打通的直接手段。
检查四:Grafana 默认密码是否已修改。 环境变量中设置的密码只在首次启动时生效,后续修改需在界面中操作。
检查五:快照是否已创建。 轻量应用服务器支持对实例创建快照,保存某个时间点的完整数据。
💡 操作建议: 在面板调试完成、告警规则验证通过后创建快照。Grafana 面板的布局调整和告警阈值调优往往要反复多次,有快照可避免误操作后从头再来。
Prometheus 加 Grafana 的自建监控,10 台以内被监控机器用 2 核 4 GB 配 100 GB 系统盘即可,关键是显式设置 30 天数据保留期。采集走内网地址,9090、3000、9100 三个端口全部不对公网放行,对外只通过 Nginx 反向代理暴露 443。告警规则的 for 字段设 10 分钟以过滤瞬时峰值,磁盘阈值设在 80% 以留出处理时间。
轻量应用服务器以套餐形式交付计算、SSD 云硬盘与网络资源,提供内网互联、快照备份、自定义镜像与可视化防火墙配置,适合作为自建监控平台与被监控节点的承载主机。套餐规格可在产品页查看:https://cloud.tencent.com/product/lighthouse
腾讯云双十一大促期间,轻量应用服务器多个规格参与促销,并提供代金券礼包、买赠时长与双人拼团加赠资源等优惠形式,适合搭建监控平台时一次性锁定成本。活动页面:https://cloud.tencent.com/act/pro/double11-202611
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。