专栏首页腾讯云容器服务团队的专栏腾讯云容器服务监控体系详解
原创

腾讯云容器服务监控体系详解

腾讯云容器服务监控系统可以监控集群中所有的节点,服务,实例,容器的相关信息,并且以曲线的方式展示给用户,同时支持多种粒度的统计方式。监控的基础数据是由 cAdvisor 获取,然后上报至监控平台进行聚合。本文将讲解容器监控框架和指标统计方式。

1. 框架概览

1.1 Container

Container 为当前该集群节点(VM)上所有的容器,包括但不限于:

  1. 腾讯云容器服务创建的
  2. Kubenertes Api 创建的
  3. docker run 创建的

1.2 cAdvisor

cAdvisor 做为一个运行中的 daemon,会自动收集所有运行时容器的监控信息,例如 cpu,mem 等,经过一定的计算和分类通过页面或者 api 的方式提供调用。kubenertes 已经将 cAdvisor 功能集成到 kubelet 组件中,同时通过节点 IP+端口也可以直接进行 cAdvisor web 访问。

cAdvisor web 访问方式: http://VmIp:4194

1.3 Agent

每一台集群节点(VM)上会部署一个专门收集监控信息的 agent,每个 agent 会在集群节点创建时默认安装并运行,agent 会每分钟调用 cAdvisor api 获取容器的监控信息进行汇总,并且按照多种视图的方式进行聚合计算等等操作,最终汇总成一个包含容器,服务,节点,集群,命名空间的有层级的原始数据上报至 Tencent Cloud Monitor Service.

1.4 Tencent Cloud Monitor Service(腾讯云监控服务)

Tencent Cloud Monitor Service 获取 agent 每分钟上报的结果,通过我们在监控平台上配置的不同视图,不同维度的统计方式进行二次聚合,最终以标准的腾讯云 API 的形式提供给用户调用。具体的调用方式可以查看 获取容器服务监控数据

2. 指标详细说明

容器服务以多种视图的方式提供监控视图,视图可以看做是一种分类,每一个视图通过不同的聚合方式,维度,和指标提供独立的监控数据。下面会列举出现在容器服务支持的所有视图和其监控指标,并且解释其统计方式

2.1 集群视图

监控项

指标名称

单位

说明

统计方式

集群 CPU 利用率

dc_cpu_usage

%

集群内节点的平均 CPU 利用率

1 分钟 avg,5 分钟 max,1 小时 max,1 天 max

集群内存利用率

dc_mem_usage

%

集群内节点的平均内存利用率

1 分钟 avg,5 分钟 max,1 小时 max,1 天 max

2.2 服务视图

监控项

指标名称

单位

说明

统计方式

服务 CPU 使用情况

service_cpu_used

服务内所有容器实例 CPU 使用之和

1 分钟 sum,5 分钟 max,1 小时 max,1 天 max

服务 CPU 使用率(占集群)

service_cpu_usage_for_cluster

%

服务使用 CPU 占集群比率

1 分钟 sum,5 分钟 max,1 小时 max,1 天 max

服务内存使用情况

service_mem_used

MiB

服务内所有容器实例内存使用之和

1 分钟 sum,5 分钟 max,1 小时 max,1 天 max

服务内存使用率(占集群)

service_mem_usage_for_cluster

%

服务使用内存占集群比率

1 分钟 sum,5 分钟 max,1 小时 max,1 天 max

服务网络入流量

service_in_flux

MB

服务内所有实例在该时间窗口入流量之和

1 分钟 sum,5 分钟 sum,1 小时 sum,1 天 sum

服务网络出流量

service_out_flux

MB

服务内所有实例在该时间窗口出流量之和

1 分钟 sum,5 分钟 sum,1 小时 sum,1 天 sum

服务网络入带宽

service_in_bandwidth

Mbps

服务内所有实例的入带宽之和

1 分钟 sum,5 分钟 max,1 小时 max,1 天 max

服务网络出带宽

service_out_bandwidth

Mbps

服务内所有实例的出带宽之和

1 分钟 sum,5 分钟 max,1 小时 max,1 天 max

服务网络入包量

service_in_packets

个/s

服务内所有实例的入包量之和

1 分钟 sum,5 分钟 sum,1 小时 sum,1 天 sum

服务网络出包量

service_out_packets

个/s

服务内所有实例的出包量之和

1 分钟 sum,5 分钟 sum,1 小时 sum,1 天 sum

2.3 实例视图

监控项

指标名称

单位

说明

统计方式

实例网络入带宽

pod_in_bandwidth

Mbps

同一实例内容器共享网络,实例(pod) 的网络入带宽

1 分钟 sum,5 分钟 max,1 小时 max,1 天 max

实例网络出带宽

pod_out_bandwidth

Mbps

同一实例内容器共享网络,实例(pod) 的网络出带宽

1 分钟 sum,5 分钟 max,1 小时 max,1 天 max

实例网络入流量

pod_in_flux

MB

同一实例内容器共享网络,实例(pod) 的网络入流量

1 分钟 sum,5 分钟 sum,1 小时 sum,1 天 sum

实例网络出流量

pod_out_flux

MB

同一实例内容器共享网络,实例(pod) 的网络出流量

1 分钟 sum,5 分钟 sum,1 小时 sum,1 天 sum

实例网络入包量

pod_in_packets

个/s

同一实例内容器共享网络,实例(pod) 的网络入包量

1 分钟 sum,5 分钟 sum,1 小时 sum,1 天 sum

实例网络出包量

pod_out_packets

个/s

同一实例内容器共享网络,实例(pod) 的网络出包量

1 分钟 sum,5 分钟 sum,1 小时 sum,1 天 sum

2.3 容器视图

监控项

指标名称

单位

说明

统计方式

容器 CPU 使用情况

container_cpu_used

容器 CPU 使用量

5 分钟 max,1 小时 max,1 天 max

容器 CPU 使用率(占主机)

container_cpu_usage_for_node

%

容器 CPU 使用占主机

5 分钟 max,1 小时 max,1 天 max

容器 CPU 使用率(占 Request)

container_cpu_usage_for_request

%

容器 CPU 使用占 Request

5 分钟 max,1 小时 max,1 天 max

容器 CPU 使用率(占 Limit)

container_cpu_usage_for_limit

%

容器 CPU 使用占 Limit

5 分钟 max,1 小时 max,1 天 max

容器内存使用情况

container_mem_used

MiB

容器内存使用量

5 分钟 max,1 小时 max,1 天 max

容器内存使用率(占主机)

container_mem_usage_for_node

%

容器内存使用占主机

5 分钟 max,1 小时 max,1 天 max

容器内存使用率(占 Request)

container_mem_usage_for_request

%

容器内存使用占 Request

5 分钟 max,1 小时 max,1 天 max

容器内存使用率(占 Limit)

container_mem_usage_for_limit

%

容器内存使用占 Limit

5 分钟 max,1 小时 max,1 天 max

容器磁盘读流量

container_disk_read_traffic

KB/s

容器对磁盘读流量

5 分钟 max,1 小时 max,1 天 max

容器磁盘写流量

container_disk_write_traffic

KB/s

容器对磁盘写流量

5 分钟 max,1 小时 max,1 天 max

容器磁盘读 IOPS

container_disk_read

count

容器对磁盘读 IOPS

5 分钟 max,1 小时 max,1 天 max

容器磁盘写 IOPS

container_disk_write

count

容器对磁盘写 IOPS

5 分钟 max,1 小时 max,1 天 max

2.4 统计方式说明

上面所描述的统计方式,例如:service_cpu_used(服务 cpu 使用量) 1 分钟 sum,5 分钟 max,1 小时 max,1 天 max,解释如下:

1 分钟 max: 服务下的所有容器每分钟上报的 cpu 使用量之合 5 分钟 max: 基于 1 分钟的统计结果,5 分钟共 5 个点,取其中最大值 1 小时 max: 基于 5 分钟的统计结果,1 小时共 12 个点,取其中最大值 1 天 max: 基于 1 分钟的统计结果,1 小时共 1440 个点,取其中最大值

其他统计方式与这个类似,其中容器视同中的指标没有 1 分钟统计方式,因为容器为最小粒度,顾只需取得上报的值,即为最后的输出值,不需要做聚合。

3.总结

腾讯云容器服务的监控是基于 cAdvisor 来获取基础数据,并且通过一系列的计算,汇总最终呈现给用户。指标覆盖集群,服务,实例,容器四大部分,共 30 个监控指标,基本涵盖了大部分用户诉求,同时提供控制台页面和云 API 两种方式输出。欢迎大家使用!

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • kubernetes 中 kafka 和 zookeeper 有状态集群服务部署实践 (二)

    在上文中,已经介绍了如何基于 StatefulSet(PetSet) + Persistent Volume 搭建 kafka 和zookeeper 服务。本文...

    腾讯云容器服务团队
  • 如何搭建及使用 docker registry

    本文通过 Docker Compose 搭建了一个简单的 registry 环境,使用的是 docker hub官方镜像,registry 镜像版本 regis...

    腾讯云容器服务团队
  • 容器健康检查详解

    容器集群内核基于 kubernetes ,kubernetes 支持对容器进行周期性的探测,根据探测结果来决定判断容器的健康状态,并执行额外的操作。当我们创建服...

    腾讯云容器服务团队
  • R语言之可视化(20)ggradar雷达图

    用户1359560
  • ESP8266_17简单网络时间协议-SNTP

    连续说了好几节的TCP通信,我自己已经烦的不行了。一样东西说多了,其实是很容易烦躁的。但有的时候不学是不行的,所以这一节穿插点别的东西。

    MCU起航
  • 反射案例——记事本插件练习

    静心物语313
  • 利用Asp.Net Core的MiddleWare思想处理复杂业务流程

    最近利用Asp.Net Core 的MiddleWare思想对公司的古老代码进行重构,在这里把我的设计思路分享出来,希望对大家处理复杂的流程业务能有所帮助。

    码农阿宇
  • 案例 | 在线教育师资人才抢夺战,电子合同做“靠山”

    越来越多的现代教育机构正在将“抢占教师资源”作为核心战略——对于教育行业来说,教师资源不但是其产品和服务的基础,更是品牌和客户资源的有力支撑。

    法大大电子合同
  • 利用Asp.Net Core的MiddleWare思想处理复杂业务流程

    最近利用Asp.Net Core 的MiddleWare思想对公司的古老代码进行重构,在这里把我的设计思路分享出来,希望对大家处理复杂的流程业务能有所帮助。

    码农阿宇
  • How go build works

    最近新入 Go 的坑,因为维护一个旧项目,对 go build 百思不得其解,记录一下心路历程…

    runzhliu

扫码关注云+社区

领取腾讯云代金券