专栏首页sktjPrometheus:监控主机和容器

Prometheus:监控主机和容器

1、每台主机上安装exporter和cadvisor 2、主机资源监控项:

  • CPU
  • 内存
  • 磁盘
  • 可用性 3、基础的主机插件:Node Exporter 可选的Exporter列表:https://prometheus.io/docs/instrumenting/exporters/ 4、node exporter设置路径: --web.listen-address=":9600" --web.telemetry-path="/node_metrics" 5、配置textfile收集器 mkdir -p /var/lib/node_exporter/textfile_collector echo 'metadata{role="docker_server",datacenter="NJ"} 1'|sudo tee /var/lib/node_exporter/textfile_collector/metadata.prom

在node exporter上设置textfile的路径: --collector.textfile.directory=/var/lib/node_exporter/textfile_collector/ 6、配置systemd收集器 node_exporter --collector.textfile.directory /var/lib/node_exporter/textfile_collector --collector.systemd --collector.systemd.unit-whitelist="(docker|ssh|rsyslog).service" 7、服务端prometheus.yml配置 scrape_configs:

  • job_name: 'prometheus' static_configs: - targets: ['localhost:9090']
  • job_name: 'node' static_configs: - targets: ['192.168.1.11:9100','192.168.1.12:9100','192.168.1.13:9100']

重启prometheus

8、通过params collect[]过滤收集的指标

image.png

9、运行cadvisor docker run -v /:/rootfs:ro -v /var/run:/var/run:rw -v /sys:/sys:ro -v /var/lib/docker:/var/lib/docker:ro -v /dev/disk:/dev/disk:ro -p 8080:8080 --detach=true --restart=always --name=cadvisor google/cadvisor 10、prometheus服务端配置

image.png

???覆盖标签配置????、

image.png

image.png

标签分为拓扑标签、模式标签 拓扑标签:job:node instance:address .... 模式标签:url error_code user....

标签分类示例: 数据中心-->环境:开发、预发布、生产-->服务、应用程序

重新标记:relabel

有两个阶段可以重新标记:服务发现后重新标记 relabel_configs 抓取之后过滤 metric_relabel_configs 最简单的区分,一个是抓取前,一个是抓取后

docker 删除部分指标的例子

image.png

定义新的标签分隔符separator

image.png

操作有:drop/keep/replace/labeldrop/labelkeep

标签替换

image.png

隐藏收集的主机内核版本的方式

metric_relabel_configs:

  • regex: 'kernelVersion' action: labeldrop

USE方法:使用率、饱和度、错误指标。用于CPU、内存、磁盘

cpu使用率:node_cpu_seconds_total。使用promQL来查询5分钟内的CPU平均值:100-avg(irate(node_cpu_seconds_total{job="node",mode="idle"}[5m])) by (instance) * 100

image.png

cpu饱和度:计算cpu数量 count by (instance) (node_cpu_seconds_total{mode="idle"}) 查询1分钟平均负载超过2倍CPU数量的指标:node_load1 > on (instance) 2 * count by (instance) (node_cpu_seconds_total{mode="idle"}) cpu错误:无法收集 ---# 内存使用率指标:(node_memory_MemTotal_bytes - (node_memory_MemFree_bytes+node_memory_Cached_bytes+node_memory_Buffers_bytes)) / node_memory_MemTotal_bytes * 100 内存饱和度:node_vmstat_pswpin 系统每秒从磁盘读到内存的字节数 1024 * sum by (instance) (rate(node_vmstat_pswpin[1m])+rate(node_vmstat_pswpin[1m])) 内存错误:无法收集 --# 磁盘使用率:(node_filesystem_size_bytes{mountpoint="/"}-node_filesystem_free_bytes{mountpoint="/"})/node_filesystem_size_bytes{mountpoint="/"}*100

其他挂载点:/替换成其他,可以使用正则 =~"/|/run"

-----#预测函数**** predict_linear predict_linear(node_filesystem_free_bytes{job="node"}[1h],4*3600)<0

这个函数的意义是如果基于最后一个小时的增长历史记录,文件系统将在接下来4个小时内用完空间,那么查询将返回一个负数,然后我们可以使用它来触发告警。

--

systemd

node_systemd_unit_state{name="docker.service",state="active"} ==1

查询持久化

  • 记录规则
  • 警报规则
  • 可视化

记录规则放在rules_files中,记录规则放在prometheus.yml同文件夹的rules/下。

记录规则可以自定义时间间隔,interval: 10s

rule_files:

  • "rules/node_rules.yml"

CPU、内存、磁盘的记录规则node_rules.yml

groups:

  • name: node_rules rules:
    • record: instance:node_cpu:avg_rate5m expr: 100 - avg (irate(node_cpu_seconds_total{job="node",mode="idle"}[5m])) by (instance) * 100
    • record: instance:node_cpus:count expr: count by (instance)(node_cpu_seconds_total{mode="idle"})
    • record: instance:node_cpu_saturation_load1 expr: node_load1 > on (instance) 2 * count by (instance)(node_cpu_seconds_total{mode="idle"})
    • record: instance:node_memory_usage:percentage expr: (node_memory_MemTotal_bytes - (node_memory_MemFree + node_memory_Cached_bytes + node_memory_Buffers_bytes)) / node_memory_MemTotal_bytes * 100
    • record: instance:node_memory_swap_io_bytes:sum_rate expr: 1024 * sum by (instance) ( (rate(node_vmstat_pgpgin[1m]) + rate(node_vmstat_pgpgout[1m])) )
    • record: instance:root:node_filesystem_usage:percentage expr: (node_filesystem_size_bytes{mountpoint="/"} - node_filesystem_free_bytes{mountpoint="/"}) / node_filesystem_size_bytes{mountpoint="/"} * 100

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Docker搭建Prometheus客户端*

    1、docker-compose.yml cadvisor: image: google/cadvisor:latest container_name: ...

    用户5760343
  • python 访问者模式

    这里遇到的问题在编程领域中是很普遍的,有时候会构建一个由大量不同对象组成的数据结构。 假设你要写一个表示数学表达式的程序,那么你可能需要定义如下的类:

    用户5760343
  • IOS GCD执行并发编程

    用户5760343
  • hdu1009

    @坤的
  • 升级node版本

    $ sudo n stable (安装node最新版本) 或安装指定版本 $ sudo n (可以安装node指定版本 sudo n 10.10.0)

    悟空聊架构
  • AVL树探秘

    一、AVL树   AVL树是一种平衡查找树,在前面的两篇文章:二叉搜索树 和 红黑树 中都提到过。由于二叉搜索树在某些特殊情况下是不平衡的(任意一个结点深度过大...

    CloudDeveloper
  • HDU 1199 Color the Ball

    Color the Ball Time Limit: 2000/1000 MS (Java/Others)    Memory Limit: 65536/32...

    ShenduCC
  • 【剑指offer:两个链表的第一个公共节点】双解法

    题目提示了,空间复杂度可以降低到$O(1)$。这时候不能用哈希表,可以使用快慢指针的思路来处理。整体思路如下:

    心谭博客
  • JOJ 2676 Problem B

    题意:给三个点abc的坐标构成三角形,在三角形内部找到一点,促使a所对应的边构成的三角形占总 三角形面积的1/2,c点对应的边构成的三角形占总三角形面积的1/6...

    用户1624346
  • jQuery动画与ajax

    小胖

扫码关注云+社区

领取腾讯云代金券