腾讯云容器服务监控体系详解

腾讯云容器服务监控系统可以监控集群中所有的节点,服务,实例,容器的相关信息,并且以曲线的方式展示给用户,同时支持多种粒度的统计方式。监控的基础数据是由 cAdvisor 获取,然后上报至监控平台进行聚合。本文将讲解容器监控框架和指标统计方式。

1. 框架概览

1.1 Container

Container 为当前该集群节点(VM)上所有的容器,包括但不限于:

  1. 腾讯云容器服务创建的
  2. Kubenertes Api 创建的
  3. docker run 创建的

1.2 cAdvisor

cAdvisor 做为一个运行中的 daemon,会自动收集所有运行时容器的监控信息,例如 cpu,mem 等,经过一定的计算和分类通过页面或者 api 的方式提供调用。kubenertes 已经将 cAdvisor 功能集成到 kubelet 组件中,同时通过节点 IP+端口也可以直接进行 cAdvisor web 访问。

cAdvisor web 访问方式: http://VmIp:4194

1.3 Agent

每一台集群节点(VM)上会部署一个专门收集监控信息的 agent,每个 agent 会在集群节点创建时默认安装并运行,agent 会每分钟调用 cAdvisor api 获取容器的监控信息进行汇总,并且按照多种视图的方式进行聚合计算等等操作,最终汇总成一个包含容器,服务,节点,集群,命名空间的有层级的原始数据上报至 Tencent Cloud Monitor Service.

1.4 Tencent Cloud Monitor Service(腾讯云监控服务)

Tencent Cloud Monitor Service 获取 agent 每分钟上报的结果,通过我们在监控平台上配置的不同视图,不同维度的统计方式进行二次聚合,最终以标准的腾讯云 API 的形式提供给用户调用。具体的调用方式可以查看 获取容器服务监控数据

2. 指标详细说明

容器服务以多种视图的方式提供监控视图,视图可以看做是一种分类,每一个视图通过不同的聚合方式,维度,和指标提供独立的监控数据。下面会列举出现在容器服务支持的所有视图和其监控指标,并且解释其统计方式

2.1 集群视图

监控项

指标名称

单位

说明

统计方式

集群 CPU 利用率

dc_cpu_usage

%

集群内节点的平均 CPU 利用率

1 分钟 avg,5 分钟 max,1 小时 max,1 天 max

集群内存利用率

dc_mem_usage

%

集群内节点的平均内存利用率

1 分钟 avg,5 分钟 max,1 小时 max,1 天 max

2.2 服务视图

监控项

指标名称

单位

说明

统计方式

服务 CPU 使用情况

service_cpu_used

服务内所有容器实例 CPU 使用之和

1 分钟 sum,5 分钟 max,1 小时 max,1 天 max

服务 CPU 使用率(占集群)

service_cpu_usage_for_cluster

%

服务使用 CPU 占集群比率

1 分钟 sum,5 分钟 max,1 小时 max,1 天 max

服务内存使用情况

service_mem_used

MiB

服务内所有容器实例内存使用之和

1 分钟 sum,5 分钟 max,1 小时 max,1 天 max

服务内存使用率(占集群)

service_mem_usage_for_cluster

%

服务使用内存占集群比率

1 分钟 sum,5 分钟 max,1 小时 max,1 天 max

服务网络入流量

service_in_flux

MB

服务内所有实例在该时间窗口入流量之和

1 分钟 sum,5 分钟 sum,1 小时 sum,1 天 sum

服务网络出流量

service_out_flux

MB

服务内所有实例在该时间窗口出流量之和

1 分钟 sum,5 分钟 sum,1 小时 sum,1 天 sum

服务网络入带宽

service_in_bandwidth

Mbps

服务内所有实例的入带宽之和

1 分钟 sum,5 分钟 max,1 小时 max,1 天 max

服务网络出带宽

service_out_bandwidth

Mbps

服务内所有实例的出带宽之和

1 分钟 sum,5 分钟 max,1 小时 max,1 天 max

服务网络入包量

service_in_packets

个/s

服务内所有实例的入包量之和

1 分钟 sum,5 分钟 sum,1 小时 sum,1 天 sum

服务网络出包量

service_out_packets

个/s

服务内所有实例的出包量之和

1 分钟 sum,5 分钟 sum,1 小时 sum,1 天 sum

2.3 实例视图

监控项

指标名称

单位

说明

统计方式

实例网络入带宽

pod_in_bandwidth

Mbps

同一实例内容器共享网络,实例(pod) 的网络入带宽

1 分钟 sum,5 分钟 max,1 小时 max,1 天 max

实例网络出带宽

pod_out_bandwidth

Mbps

同一实例内容器共享网络,实例(pod) 的网络出带宽

1 分钟 sum,5 分钟 max,1 小时 max,1 天 max

实例网络入流量

pod_in_flux

MB

同一实例内容器共享网络,实例(pod) 的网络入流量

1 分钟 sum,5 分钟 sum,1 小时 sum,1 天 sum

实例网络出流量

pod_out_flux

MB

同一实例内容器共享网络,实例(pod) 的网络出流量

1 分钟 sum,5 分钟 sum,1 小时 sum,1 天 sum

实例网络入包量

pod_in_packets

个/s

同一实例内容器共享网络,实例(pod) 的网络入包量

1 分钟 sum,5 分钟 sum,1 小时 sum,1 天 sum

实例网络出包量

pod_out_packets

个/s

同一实例内容器共享网络,实例(pod) 的网络出包量

1 分钟 sum,5 分钟 sum,1 小时 sum,1 天 sum

2.3 容器视图

监控项

指标名称

单位

说明

统计方式

容器 CPU 使用情况

container_cpu_used

容器 CPU 使用量

5 分钟 max,1 小时 max,1 天 max

容器 CPU 使用率(占主机)

container_cpu_usage_for_node

%

容器 CPU 使用占主机

5 分钟 max,1 小时 max,1 天 max

容器 CPU 使用率(占 Request)

container_cpu_usage_for_request

%

容器 CPU 使用占 Request

5 分钟 max,1 小时 max,1 天 max

容器 CPU 使用率(占 Limit)

container_cpu_usage_for_limit

%

容器 CPU 使用占 Limit

5 分钟 max,1 小时 max,1 天 max

容器内存使用情况

container_mem_used

MiB

容器内存使用量

5 分钟 max,1 小时 max,1 天 max

容器内存使用率(占主机)

container_mem_usage_for_node

%

容器内存使用占主机

5 分钟 max,1 小时 max,1 天 max

容器内存使用率(占 Request)

container_mem_usage_for_request

%

容器内存使用占 Request

5 分钟 max,1 小时 max,1 天 max

容器内存使用率(占 Limit)

container_mem_usage_for_limit

%

容器内存使用占 Limit

5 分钟 max,1 小时 max,1 天 max

容器磁盘读流量

container_disk_read_traffic

KB/s

容器对磁盘读流量

5 分钟 max,1 小时 max,1 天 max

容器磁盘写流量

container_disk_write_traffic

KB/s

容器对磁盘写流量

5 分钟 max,1 小时 max,1 天 max

容器磁盘读 IOPS

container_disk_read

count

容器对磁盘读 IOPS

5 分钟 max,1 小时 max,1 天 max

容器磁盘写 IOPS

container_disk_write

count

容器对磁盘写 IOPS

5 分钟 max,1 小时 max,1 天 max

2.4 统计方式说明

上面所描述的统计方式,例如:service_cpu_used(服务 cpu 使用量) 1 分钟 sum,5 分钟 max,1 小时 max,1 天 max,解释如下:

1 分钟 max: 服务下的所有容器每分钟上报的 cpu 使用量之合 5 分钟 max: 基于 1 分钟的统计结果,5 分钟共 5 个点,取其中最大值 1 小时 max: 基于 5 分钟的统计结果,1 小时共 12 个点,取其中最大值 1 天 max: 基于 1 分钟的统计结果,1 小时共 1440 个点,取其中最大值

其他统计方式与这个类似,其中容器视同中的指标没有 1 分钟统计方式,因为容器为最小粒度,顾只需取得上报的值,即为最后的输出值,不需要做聚合。

3.总结

腾讯云容器服务的监控是基于 cAdvisor 来获取基础数据,并且通过一系列的计算,汇总最终呈现给用户。指标覆盖集群,服务,实例,容器四大部分,共 30 个监控指标,基本涵盖了大部分用户诉求,同时提供控制台页面和云 API 两种方式输出。欢迎大家使用!

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏FreeBuf

渗透测试专用版Linux:BackBox3.13发布

BackBox团队近日很高兴地宣布Linux的更新版本,版本3.13。BackBox是基于Ubuntu的Linux发行版本,它被用于网络渗透测试及安全评估。 更...

1848
来自专栏FreeBuf

互联网公司WAF系统设计

0×01 WAF简介 WAF 全称是Web Application Firewall, 简单讲就是web防火墙, 是对web业务进行防护的一种安全防护手段。 ...

34710
来自专栏IT笔记

讯飞语音JavaWeb语音合成解决方案

在线语音合成 将文字信息转化为声音信息,给应用配上“嘴巴”。我们提供了众多极具特色的发音人(音库)供您选择。其合成音在音色、自然度等方面的表现均接近甚至超过了人...

41814
来自专栏吴伟祥

大白话Docker入门(二) 原

上篇的大白话Docker入门(一)让我们认识了docker,知道docker大概是怎么玩的。初步的印象可能会让你觉得和现在的VM的部署方式也挺像的,比如dock...

752
来自专栏杨建荣的学习笔记

跨网络拷贝文件的简单实践(r3笔记第67天)

在实际的项目中可能要访问生产环境是需要各种安全验证和设置的,毕竟客户的数据是最宝贵的资源。一般来说,客户会把一部分访问的权限开放出来。这样在系统出现问题的时候,...

3317
来自专栏腾讯云技术沙龙

王蕴达:腾讯云 Kubernetes 一键部署实践

很多人在实际工作中都使用过Kubernetes,我们的容器服务在2016年年底开始提供全托管的Kubernetes服务,主要提供了四个方面的功能。首先是提供了一...

1.3K5
来自专栏北京马哥教育

干货 | Docker文件系统的分层与隔离

张克琛 英文名Marshall,我们亲切的叫他马老师(以下简称M老师) 专注运维8年时间,经历过自主创业,负责过日均PV5千万的网站开发及 运维工作,目前担任...

4907
来自专栏宝哥的专栏

Docker系列学习文章 - 网络基本配置(九)

| 导语 上一篇我们讲解了docker的存储配置,那么这篇文章我们讲下docker的网络。存储解决了docker存东西的问题,网络了解后我们就能知道容器如何连...

5497
来自专栏DevOps时代的专栏

基于 Docker 的 Jenkins pipeline 工作流

2017
来自专栏IT大咖说

docker搭建大规模测试环境的实践

摘要 Docker是一个开源的应用容器引擎,第四范式资深测试开发工程师将从四个方面来分享关于docker搭建大规模测试环境的实践。 ? 困境 当今互联网行业发展...

3925

扫码关注云+社区