Prometheus:监控主机和容器
1、每台主机上安装exporter和cadvisor 2、主机资源监控项：
- CPU
- 内存
- 磁盘
- 可用性 3、基础的主机插件：Node Exporter 可选的Exporter列表：https://prometheus.io/docs/instrumenting/exporters/ 4、node exporter设置路径： --web.listen-address=":9600" --web.telemetry-path="/node_metrics" 5、配置textfile收集器 mkdir -p /var/lib/node_exporter/textfile_collector echo 'metadata{role="docker_server",datacenter="NJ"} 1'|sudo tee /var/lib/node_exporter/textfile_collector/metadata.prom
在node exporter上设置textfile的路径： --collector.textfile.directory=/var/lib/node_exporter/textfile_collector/ 6、配置systemd收集器 node_exporter --collector.textfile.directory /var/lib/node_exporter/textfile_collector --collector.systemd --collector.systemd.unit-whitelist="(docker|ssh|rsyslog).service" 7、服务端prometheus.yml配置 scrape_configs:
- job_name: 'prometheus' static_configs: - targets: ['localhost:9090']
- job_name: 'node' static_configs: - targets: ['192.168.1.11:9100','192.168.1.12:9100','192.168.1.13:9100']
重启prometheus
8、通过params collect[]过滤收集的指标
image.png
9、运行cadvisor docker run -v /:/rootfs:ro -v /var/run:/var/run:rw -v /sys:/sys:ro -v /var/lib/docker:/var/lib/docker:ro -v /dev/disk:/dev/disk:ro -p 8080:8080 --detach=true --restart=always --name=cadvisor google/cadvisor 10、prometheus服务端配置
image.png
？？？覆盖标签配置？？？？、
image.png
image.png
标签分为拓扑标签、模式标签 拓扑标签：job:node instance:address .... 模式标签：url error_code user....
标签分类示例： 数据中心-->环境：开发、预发布、生产-->服务、应用程序
重新标记：relabel
有两个阶段可以重新标记：服务发现后重新标记 relabel_configs 抓取之后过滤 metric_relabel_configs 最简单的区分，一个是抓取前，一个是抓取后
docker 删除部分指标的例子
image.png
定义新的标签分隔符separator
image.png
操作有：drop/keep/replace/labeldrop/labelkeep
标签替换
image.png
隐藏收集的主机内核版本的方式
metric_relabel_configs:
- regex: 'kernelVersion' action: labeldrop
USE方法：使用率、饱和度、错误指标。用于CPU、内存、磁盘
cpu使用率：node_cpu_seconds_total。使用promQL来查询5分钟内的CPU平均值：100-avg(irate(node_cpu_seconds_total{job="node",mode="idle"}[5m])) by (instance) * 100
image.png
cpu饱和度：计算cpu数量 count by (instance) (node_cpu_seconds_total{mode="idle"}) 查询1分钟平均负载超过2倍CPU数量的指标：node_load1 > on (instance) 2 * count by (instance) (node_cpu_seconds_total{mode="idle"}) cpu错误：无法收集 ---# 内存使用率指标：(node_memory_MemTotal_bytes - (node_memory_MemFree_bytes+node_memory_Cached_bytes+node_memory_Buffers_bytes)) / node_memory_MemTotal_bytes * 100 内存饱和度：node_vmstat_pswpin 系统每秒从磁盘读到内存的字节数 1024 * sum by (instance) (rate(node_vmstat_pswpin[1m])+rate(node_vmstat_pswpin[1m])) 内存错误：无法收集 --# 磁盘使用率：(node_filesystem_size_bytes{mountpoint="/"}-node_filesystem_free_bytes{mountpoint="/"})/node_filesystem_size_bytes{mountpoint="/"}*100
其他挂载点：/替换成其他，可以使用正则 =~"/|/run"
-----#预测函数**** predict_linear predict_linear(node_filesystem_free_bytes{job="node"}[1h],4*3600)<0
这个函数的意义是如果基于最后一个小时的增长历史记录，文件系统将在接下来4个小时内用完空间，那么查询将返回一个负数，然后我们可以使用它来触发告警。
--
systemd
node_systemd_unit_state{name="docker.service",state="active"} ==1
查询持久化
- 记录规则
- 警报规则
- 可视化
记录规则放在rules_files中,记录规则放在prometheus.yml同文件夹的rules/下。
记录规则可以自定义时间间隔，interval: 10s
rule_files:
- "rules/node_rules.yml"
CPU、内存、磁盘的记录规则node_rules.yml
groups:
- name: node_rules
rules:
- record: instance:node_cpu:avg_rate5m expr: 100 - avg (irate(node_cpu_seconds_total{job="node",mode="idle"}[5m])) by (instance) * 100
- record: instance:node_cpus:count expr: count by (instance)(node_cpu_seconds_total{mode="idle"})
- record: instance:node_cpu_saturation_load1 expr: node_load1 > on (instance) 2 * count by (instance)(node_cpu_seconds_total{mode="idle"})
- record: instance:node_memory_usage:percentage expr: (node_memory_MemTotal_bytes - (node_memory_MemFree + node_memory_Cached_bytes + node_memory_Buffers_bytes)) / node_memory_MemTotal_bytes * 100
- record: instance:node_memory_swap_io_bytes:sum_rate expr: 1024 * sum by (instance) ( (rate(node_vmstat_pgpgin[1m]) + rate(node_vmstat_pgpgout[1m])) )
- record: instance:root:node_filesystem_usage:percentage expr: (node_filesystem_size_bytes{mountpoint="/"} - node_filesystem_free_bytes{mountpoint="/"}) / node_filesystem_size_bytes{mountpoint="/"} * 100