专栏首页瓜农老梁RocketMQ/Kafka监控项整理【实战笔记】

RocketMQ/Kafka监控项整理【实战笔记】

目录
六、消费客户端监控项

一、系统监控项

1.CPU

CPU使用率、CPU Load

2.内存

内存使用率

3.磁盘

磁盘使用率、磁盘IO、磁盘IOWAIT

4.带宽

带宽检测

5.实例存活

集群实例是否存活、实例端口是否可达

6.JVM监控

堆内存、Full GC时间等

二、集群监控项

1.集群节点数量

注:比如RocketMQ集群中有4主4从;当Master节点数量小于4时

2.集群节点可用性

注:检测集群节点是否可达以及RT Time

3.集群写入TPS

注:例如集群写入TPS压测值的40%

4.集群消费TPS

注:集群消费TPS需关注带宽及CPU

5.集群写入TPS变化率

注:例如5分钟内集群TPS陡增30%

6.集群写入TPS变化率

注:例如5分钟内集群TPS陡增30%

7.集群日消息总量的变化

注:例如集群中每日的消息总量监控

8.Broker写入/消费TPS

注:单节点的写入/消费TPS

三、主题监控项
1.主题写入TPS

注:单一主题的写入速率

2.主题写入TPS的变化率

注:例如某一主题5分钟内速率陡增30%

3.主题日消息量

注:例如单一主题每日消息量

4.死信队列监控

注:RocketMQ被丢入死信队列的消息监控

四、消费组监控项
1.消费积压

注:积压量的监控

2.消费TPS

注:消费速率监控

3.消费阻塞

注:消费者隔特定时间未消费数据

4.消费速率变化

注:例如5分钟之内消费速率陡降了30%

五、发送客户端监控项
1.发送消息体大小变化

注:发送消息的大小在小于1K、1~2K、大于5K等的分布

2.发送耗时变化

注:单节点消息发送在不通时间范围内的分布

3.发送速率变化

注:单个发送节点速率变化

4.发送成功失败分布

注:消息发送成功/失败分布情况

六、消费客户端监控项
1.消费速率变化

注:单节点速率变化

2.消费耗时变化

注:单节点发送耗时分布情况

3.消费成功失败分布

注:单节点消费成功失败的分布情况

七、系列文章

RocketMQ生产环境配置【实战笔记】

RocketMQ性能测试【实战笔记】

RocketMQ性能优化【实战笔记】

RocketMQ同步复制性能优化【实战笔记】

Kafka集群平滑扩容及Leader均衡【实战笔记】

本文分享自微信公众号 - 瓜农老梁(gh_01130ae30a83),作者:梁勇

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-11-03

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Sentinel控制台实时监控【源码笔记

    从控制台监控来看,可以看出时间戳、通过QPS、拒绝的QPS、响应时间以及相应的波动曲线,接下来分析这些数据怎么来的?

    瓜农老梁
  • HTTP/2协议之连接前言【原理笔记】

    HTTP/2在传输数据之前,先建立连接,建立HTTP/2连接的标记为Client发送连接前言Magic。HTTP/2属于应用层,位于TPC/IP及安全传输层协议...

    瓜农老梁
  • Kafka异常复盘NotLeaderForPartitionException【实战笔记】

    监控及Kafka Manager显示节点数量正常。问题集群有6个节点,3个副本。查看日志发现,都在大量输出选举的日志,日志中暂时没有发现明显的ERROR和FAT...

    瓜农老梁
  • 06.【Kevin聊敏捷】项目生命周期之敏捷型生命周期

    敏捷生命周期对项目的前途和范围并不十分明确。这时候就需要将项目划分为若干个短小的迭代周期,在每个周期都产出可验证的交付物,以此去获取用户反馈,从而最终产出用户需...

    开心的Kevin
  • git 分支命令

    git push origin [branch name]:[branch name]

    LeoXu
  • java希尔排序(最精简代码)

    package com.cn.sort; public class ShellSort { public void shellSort(int[] arra...

    闵开慧
  • ElasticSearch5.x安装Elasticsearch-head插件

    去https://github.com/mobz/elasticsearch-head下载代码上传到服务器上

    試毅-思伟
  • 用Python读写文件的方法

    在文中,我们将研习如何用Python读取文件,然后,向文件写入内容并再次保存它。使用Python读写某种特别类型的文件,例如:JSON、CSV、Excel等,一...

    老齐
  • git 小技巧

    我们在使用git作为项目中版本控制工具的时候 1. 对于不需要提交的文件例如IDE自动生成的非代码文件或者编译生成的二进制文件我们可以放在 .gitignor...

    Theone67
  • 运维实用技能--Git常用命令(上部)

    各位都知道,Git是我们运维工作中不可缺少的工具。那今天,让我们一起来熟悉下它吧。

    用户5766185

扫码关注云+社区

领取腾讯云代金券