继上一篇初识Streams Messaging Manager之后。我们开始逐渐介绍使用SMM的用例。
SMM提供了基于智能的筛选,该筛选使用户可以选择生产者、Broker、Topic或消费者,并根据选择仅查看相关的实体。SMM非常聪明,可以仅显示那些将数据发送到选定Topic的生产者,并且仅显示那些从这些Topic中消费的消费者组。筛选对四个实体中的任何一个进行选择。这使用户能够在对Kafka问题进行故障排除和调试时快速找到根本原因。
监控集群
概览页面为您提供了查看正在监视的Kafka集群快照的工具。
查看集群概览信息
您可以使用Overview选项卡查看有关Kafka集群的信息。此页面为您提供有关生产者、Broker、Topic和消费者组总数的信息。它还提供了有关生产者和消费者的更详细的指标。
查看页面顶部的生产者、Broker、Topic和消费者组信息,以了解您的Kafka集群中包含多少个。
您可以单击任何框中的下拉箭头以查看Kafka资源列表。选择一个或多个Kafka资源,以仅将这些视图过滤为视图。您也可以搜索特定资源。您可以随时单击清除以返回完整的概览。
监控生产者
了解生产者命名约定
在SMM中与之交互的生产者是根据创建Kafka生产者时添加的client.id属性来命名的。
活动与消极生产者
在“概述”页面上,生产者涉及活动生产者(active)或消极生产者(passive)。活动生产者在指定时间段内生产消息时处于活动状态。
在“生产者”页面上,消极生产者称为非活动生产者。
您可以在Streams Messaging Manager的“配置”屏幕中设置将生产者视为不活动的时间。
1. 从服务窗格中选择“ Streams Messaging Manager ”。
2. 单击“ 配置”,然后从“ 高级” 选项卡中选择“ 高级streams-messaging-manager-common ” 。
3. 更新inactive.producer.timeout.ms以更改生产者被视为不活动的时间段。以毫秒为单位指定此值。
识别生产者状态
有两种方法可以识别生产者是活动的还是消极的。
在“概述”页面的“生产者”窗格中,使用“活动”,“消极”和“所有”选项卡仅查看活动生产者,仅消极生产者或全部。这使您可以查看活动和消极生产者的总数。
在“生产者”页面上,列出了每个生产者的状态。
监控Topic
查看集群中的Topic总数
您可以在“ 概览”页面上查看Kafka集群中的Topic总数 。
有关Topic的详细信息
Topic页面包含许多有关您的KafkaTopic的有用详细信息。此页面可帮助您回答以下问题:
• 如何查看此Topic中的副本是否同步?
• 我如何看待本Topic的保留率?
• 如何查看此Topic的复制因子?
• 我如何看到与此Topic相关的生产者和消费者?
• 如何在指定的时间范围内找到进入该Topic的消息总数?
要访问此详细的Topic信息:
1. 在左侧导航窗格中,点击Topic。
2. 确定您想要有关其信息的Topic。您可以滚动浏览Topic列表,也可以使用页面左上方的搜索栏。
3. 单击Topic左侧的绿色六边形以查看详细信息。
监控Broker
详细Broker信息
Broker页面包含有关您的Kafka Broker的许多有用的详细信息。此页面可帮助您回答以下问题:
• 我的Broker位于什么主机上?
• 我的Broker是否磁盘空间不足?
要访问详细的Broker信息:
1. 在左侧导航窗格中,单击Brokers。
2. 确定您想要有关其信息的Broker。您可以滚动浏览“Broker”列表,也可以使用页面左上方的搜索栏。
3. 单击Broker左侧的绿色六边形以查看详细信息。
查看有关Broker主机的其他详细信息
您可以从Cloudera Manager/Ambari查看有关Broker主机的其他详细信息。要访问此信息:
1. 在左侧导航窗格中,单击Brokers。
2. 确定您想要有关其信息的Broker。您可以滚动浏览“Broker”列表,也可以使用页面左上方的搜索栏。
3. 单击“Broker”视图右侧的Ambari图标。
监控消费者
查看有关消费者组的摘要信息
概览页面在页面右侧为您提供有关消费者组的摘要信息。您可以使用“活动”,“消极”和“所有”选项卡仅在活动或消极或所有消费者组中查看消费者组。使用“滞后”选项卡可以根据滞后的升序或降序对消费者组进行排序。
查看有关消费者组的详细信息
要访问详细的消费者组信息:
1. 在左侧导航窗格中,单击“ 消费者组”。
2. 标识要获取其信息的消费者组。您可以滚动浏览消费者组列表,也可以使用页面左上方的搜索栏。
3. 单击“消费者组”左侧的绿色六边形以查看详细信息。
查看消费者组资料
消费者组配置文件显示有关每个消费者组的详细信息,包括:
• 组中包含的消费者数。
• 组中消费者实例的数量。
• 有关消费者组滞后的详细信息。
要访问消费者组个体资料:
1. 在“消费者组”页面上,选择要查看其配置文件的消费者组。
2. 单击“消费者”磁贴右上方的“配置文件”图标。
来源:https://docs.cloudera.com/csp/2.0.1/monitoring-kafka-clusters/topics/smm-monitoring-clusters.html