命名空间
Namespace=QCE/CKAFKA
监控指标
消费分组—分区
指标英文名 | 指标中文名 | 指标说明 | 单位 | 维度 |
CpartitionConsumerSpeed | 分区消费速度 | 消费分组在该分区的消费速率（条/分钟） | 次/分钟 | consumerGroup,instanceId,topicId,partition,topicName |
CgroupMaxOffset | 消费分组最大 offset | 消费分组该分区当前消费 offset | 条 | consumerGroup,instanceId,topicId,partition,topicName |
CtopicMsgOffset | 主题级别消费分组 offset | 主题级别消费分组 offset | 条 | consumerGroup,instanceId,topicId,partition,topicName |
CtopicUnconsumeMsgCount | 主题级别未消费消息个数 | 消费分组在该分区下未消费消息数 | 个 | consumerGroup,instanceId,topicId,partition,topicName |
CtopicUnconsumeMsgOffset | 主题级别未消费消息堆积量 | 消费分组在该分区下未消费消息堆积量 | MB | consumerGroup,instanceId,topicId,partition,topicName |
CpartitionUnconsume | 未消费的消息条数 | 分区当前未消费消息 | count | consumerGroup,instanceId,topicId,partition,topicName |
CpartitionOffset | 当前消费 offset | 分区当前消费 offset | count | consumerGroup,instanceId,topicId,partition,topicName |
CpartitionMaxOffset | 当前 partition 最大 offset | 分区最大 offset | count | consumerGroup,instanceId,topicId,partition,topicName |
消费分组—主题
指标英文名 | 指标中文名 | 指标说明 | 单位 | 维度 |
CtopicConsumerSpeed | 主题消费速度 | 当前主题所有分区消费组消费速率总和 | 次/分钟 | consumerGroup,instanceId,topicId,topicName |
MaxOffsetTopic | 消费分组对应当前 topic 最大 offset | 当前主题中所有分区的最大 offset | 条 | consumerGroup,instanceId,topicId,topicName |
OffsetTopic | 消费分组当前消费 offset（区分 offset 最大值） | 当前主题所有分区中消费组消费的最大 offset | 条 | consumerGroup,instanceId,topicId,topicName |
UnconsumeSizeTopic | 消费分组未消费消息大小 | 当前主题所有分区消费组未消费消息大小 | MB | consumerGroup,instanceId,topicId,topicName |
UnconsumeTopic | 消费分组未消费消息数 | 当前主题所有分区消费组未消费消息总和 | 条 | consumerGroup,instanceId,topicId,topicName |
消费分组—信息
指标英文名 | 指标中文名 | 指标说明 | 单位 | 维度 |
PartitionProFlow | Topic 生产流量 | Partition 生产流量（不包含副本产生的流量），按照所选择的时间粒度统计求和 | MBytes | instanceid,partition,topicid |
PartitionProCount | Topic 生产消息条数 | Partition 生产消息条数，按照所选择的时间粒度统计求和 | Count | instanceid,partition,topicid |
PartitionMsgHeap | Topic 占用磁盘的消息总量 | Partition 占用磁盘的消息总量（不包含副本），按照所选择的时间粒度取最新值 | MBytes | instanceid,partition,topicid |
PartitionMsgCount | Topic 落盘的消息总条数 | Partition 落盘的消息总条数（不包含副本），按照所选择的时间粒度取最新值 | Count | instanceid,partition,topicid |
PartitionConFlow | Topic 消费流量 | Partition 消费流量（不包含副本产生的流量），按照所选择的时间粒度统计求和 | MBytes | instanceid,partition,topicid |
PartitionConCount | Topic 消费消息条数 | Partition 消费消息条数，按照所选择的时间粒度统计求和 | Count | instanceid,partition,topicid |
消息队列—同步任务集合
指标英文名 | 指标中文名 | 指标说明 | 单位 | 维度 |
SetSourceRecordActiveCount | 此任务已生成但尚未完全写入 Kafka 的记录数（set 聚合） | 未写入的目标的记录数 | Count | setid |
SetRecordsLead | 已从源拉取的条数（set 聚合） | 已从源拉取到的记录数 | Count | setid |
SetRecordSendTotal | 当有消息正同步时，累计写入的记录数（set 聚合） | 已写入目标的记录数 | Count | setid |
SetPollBatchMaxTimeMs | 批次最大拉取耗时 | 批次拉取最大耗时 | ms | setid |
SetPollBatchAvgTimeMs | 批次拉取的平均耗时 | 每批平均处理数据耗时 | ms | setid |
SetMaxLag | 还未从源拉取到的条数（set 聚合） | 未从源拉取到的记录数 | Count | setid |
SetBatchSizeMax | 批次最大数据大小 | 批次最大处理数据记录数 | Count | setid |
SetBatchSizeAvg | 批次平均数据大小 | 每批平均处理数据记录数 | Count | setid |
消息队列— 云服务实例监控
指标英文名 | 指标中文名 | 指标说明 | 单位 | 维度 |
Outtraffic | 公网出带宽 | 公网出带宽 | Bit/s | instanceid |
Intraffic | 公网入带宽 | 公网入带宽 | Bit/s | instanceid |
MemUsage | 公网出带宽 | 内存利用率 | % | instanceid |
LanOuttraffic | 内网出带宽 | 内网出带宽。按照所选择的时间粒度统计求和。 | MBytes | instanceid |
LanIntraffic | 内网入带宽 | 内网入带宽。按照所选择的时间粒度统计求和。 | MBytes | instanceid |
DiskUsage | 磁盘使用率 | 每台 CVM 上的硬盘实际使用情况。由于挂载 HDD/SSD 硬盘物理限制，且需要预留额外空间应对突发情况等原因，所有主机硬盘使用率之和与 CKafka 实例磁盘使用率不一定一致。 | % | instanceid |
CpuUsage | CPU使用率 | CPU使用率 | % | instanceid |
消息队列—k2k 同步
指标英文名 | 指标中文名 | 指标说明 | 单位 | 维度 |
SourceRecordWriteTotal | 自该任务上次重新启动以来从转换输出并为此任务写入 Kafka 的记录数 | 源数据已写入的条数 | Count | connectorname,task |
SourceRecordPollTotal | 指定源连接器的任务生成/轮询（转换前）的记录总数 | 已拉取源数据的条数 | Count | connectorname,task |
消息队列—JVM
指标英文名 | 指标中文名 | 指标说明 | 单位 | 维度 |
LastYoungGcCount | last_young_gc_count | Broker Yong GC的次数 | Count | brokerip |
LastOldGcCount | last_old_gc_count | Broker Full GC的次数 | Count | brokerip |
消息队列—Broker
指标英文名 | 指标中文名 | 指标说明 | 单位 | 维度 |
QueueSize | 队列深度 | 请求队列深度反映当前未处理的生产请求个数。如果该值过大可能是同一时间请求量过大，CPU 负载过高或者磁盘 IO 出现瓶颈 | - | broker_ip |
DetectStatus | broker 探测状态 | broker 实例状态 | - | broker_ip |
BZookeeperDisConnectsCount | zk 断连次数 | Broker 和 Zookeeper 之间的长连接断开重连的次数。网络波动、集群负载较高有可能会引起连接断开和重连，发生时会切换 leader 。 该值是一个累加值，Broker 启动后，断连一次加1，只有 broker 重启才会置0 | - | broker_ip |
BUnderAr | 低于 AR 分片数 | 集群中存在的未同步的副本个数。当实例存在未同步副本，就表示集群的健康度可能有问题 | - | broker_ip |
BProduceTotalTime999thTime | 999th 生产总耗时 | 表示生产请求的总耗时，由请求队列耗时、本地耗时、延时回包耗时等指标汇总而成。 注意：在每一个时间点，总耗时不会等于以下五个耗时的累加。原因是每个指标都是各自取平均得到的，故不累加相等 五个耗时：请求队列耗时、本地耗时、延时回包耗时、空闲时间耗时、其他耗时（网络建立连接、资源加载等） | ms | broker_ip |
BProduceTotalTime95thTime | 95th 生产总耗时 | 表示生产请求的总耗时，由请求队列耗时、本地耗时、延时回包耗时等指标汇总而成。 注意：在每一个时间点，总耗时不会等于以下五个耗时的累加。原因是每个指标都是各自取平均得到的，故不累加相等 五个耗时：请求队列耗时、本地耗时、延时回包耗时、空闲时间耗时、其他耗时（网络建立连接、资源加载等） | ms | broker_ip |
BProduceThrottleTime999thTime | 999th 生产延时回包的耗时 | 生产延迟回包耗时999th | ms | broker_ip |
BProduceThrottleTime95thTime | 95th 生产延时回包的耗时 | 生产延迟回包耗时95th | ms | broker_ip |
BProduceResponseQueueTime999thTime | 999th 生产回包队列等待耗时 | 生产响应回包队列耗时999th | ms | broker_ip |
BProduceResponseQueueTime95thTime | 95th 生产回包队列等待耗时 | 生产响应回包队列耗时95th | ms | broker_ip |
BProduceRequestQueueTime999thTime | 999th 生产请求队列等待耗时 | 生产请求队列耗时999th | ms | broker_ip |
BProduceRequestQueueTime95thTime | 95th 生产请求队列等待耗时 | 生产请求队列耗时95th | ms | broker_ip |
BProduceRemoteTime999thTime | 999th 生产 ack=all 等待同步耗时 | 生产远程耗时999th | ms | broker_ip |
BProduceRemoteTime95thTime | 95th 生产 ack=all 等待同步耗时 | 生产远程耗时95th | ms | broker_ip |
BProduceLocalTime999thTime | 999th 生产本地耗时 | 生产本地耗时999th | ms | broker_ip |
BProduceLocalTime95thTime | 95th 生产本地耗时 | 生产本地耗时95th | ms | broker_ip |
BNetworkProcessorAvgIdlePercent | 网络繁忙程度 | 用于衡量实例当前网络线程处理能力的指标，越接近1越空闲 | % | broker_ip |
BIsrShrink | ISR 缩小抖动次数 | Kafka ISR 收缩次数，即当出现 broker 宕机，zookeeper 重连的情况，会出现 ISR 缩小的次数统计 | Count | broker_ip |
BIsrExpand | ISR 扩充次数 | Kafka ISR 扩充次数，即存在未同步副本的情况下，当未同步副本追上 leader 数据，会重新加入 ISR，此时该次数就会加1 | Count | broker_ip |
BConsumeTotalTime999thTime | 999th 消费总耗时 | 表示消费的总耗时，由请求队列耗时、本地耗时等指标汇总而成。 注意：在每一个时间点，总耗时不会等于以下五个耗时的累加。原因是每个指标都是各自取平均得到的，故不相等 五个耗时：请求队列耗时、本地耗时、延时回包耗时、空闲时间耗时、其他耗时（网络建立连接、资源加载等） | ms | broker_ip |
BConsumeTotalTime95thTime | 95th 消费总耗时 | 表示消费的总耗时，由请求队列耗时、本地耗时等指标汇总而成。 注意：在每一个时间点，总耗时不会等于以下五个耗时的累加。原因是每个指标都是各自取平均得到的，故不相等 五个耗时：请求队列耗时、本地耗时、延时回包耗时、空闲时间耗时、其他耗时（网络建立连接、资源加载等） | ms | broker_ip |
BConsumeThrottleTime999thTime | 999th 消费延时回包的耗时 | 消费延迟回包耗时999th | | broker_ip |
BConsumeThrottleTime95thTime | 95th 消费延时回包的耗时 | 消费延迟回包耗时95th | ms | broker_ip |
BConsumeResponseQueueTime999thTime | 999th 消费回包队列等待耗时 | 消费响应队列耗时999th | ms | broker_ip |
BConsumeResponseQueueTime95thTime | 95th 消费回包队列等待耗时 | 消费响应队列耗时95th | ms | broker_ip |
BConsumeRequestQueueTime999thTime | 999th 消费请求队列等待耗时 | 消费请求队列耗时999th | ms | broker_ip |
BConsumeRequestQueueTime95thTime | 95th 消费请求队列等待耗时 | 消费请求队列耗时95th | ms | broker_ip |
BConsumeRemoteTime999thTime | 999th 消费 ack=all 等待同步耗时 | 消费远程耗时999th | ms | broker_ip |
BConsumeRemoteTime95thTime | 95th 消费 ack=all 等待同步耗时 | 消费远程耗时95th | ms | broker_ip |
BConsumeLocalTime999thTime | 999th 消费本地耗时 | 消费本地耗时999th | ms | broker_ip |
BConsumeLocalTime95thTime | 95th 消费本地耗时 | 消费本地耗时95th | ms | broker_ip |
说明：
各维度对应参数总览
参数名称 | 维度名称 | 维度解释 | 格式 |
Instances.N.Dimensions.0.Name | consumerGroup | 消费分组的维度名称 | 输入 String 类型维度名称：consumerGroup |
Instances.N.Dimensions.0.Value | consumerGroup | 具体消费分组信息 | 输入用户需要查看的消费分组信息，例如：perf-consumer-8330 |
Instances.N.Dimensions.1.Name | instanceId | 实例 ID 的维度名称 | 输入 String 类型维度名称：instanceId |
Instances.N.Dimensions.1.Value | instanceId | 具体的实例 ID | 输入用户需要查看监控的实例 ID，例如：ckafka-test |
Instances.N.Dimensions.2.Name | topicId | 主题 ID 的维度名称 | 输入 String 类型维度名称：topicId |
Instances.N.Dimensions.2.Value | topicId | 具体的主题 ID | 输入用户订阅主题 ID，例如：topic-test |
Instances.N.Dimensions.3.Name | partition | partition 的维度名称 | 输入 String 类型维度名称：partition |
Instances.N.Dimensions.3.Value | partition | 具体 partition 信息 | 输入 topic 分区信息，例如：0 |
Instances.N.Dimensions.4.Name | topicName | 主题的维度名称 | 输入 String 类型维度名称：topicName |
Instances.N.Dimensions.4.Value | topicName | 具体主题名称 | 输入用户消费主题的名称，例如：test |
Instances.N.Dimensions.5.Name | broker_ip | 主题 ID 的名称 | 输入 String 类型维度名称：brokerIp |
Instances.N.Dimensions.5.Value | broker_ip | 主题 ID | 输入用户要擦看的主题ID：示例值：inter-topic-hwz9 |
入参说明
查询消息队列分组消费监控数据，入参取值如下：
&Namespace=QCE/CKAFKA
&Instances.N.Dimensions.0.Name=consumerGroup
&Instances.N.Dimensions.0.Value=消费分组
&Instances.N.Dimensions.1.Name=instanceId
&Instances.N.Dimensions.1.Value=实例 ID
&Instances.N.Dimensions.2.Name=topicId
&Instances.N.Dimensions.2.Value=主题 ID
&Instances.N.Dimensions.3.Name=partition
&Instances.N.Dimensions.3.Value=分区
&Instances.N.Dimensions.4.Name=topicName
&Instances.N.Dimensions.4.Value=主题名称
&Instances.N.Dimensions.5.Name=broker_ip
&Instances.N.Dimensions.5.Value=主题 ID