使用SMM监控Kafka集群

继上一篇初识Streams Messaging Manager之后。我们开始逐渐介绍使用SMM的用例。

SMM提供了基于智能的筛选，该筛选使用户可以选择生产者、Broker、Topic或消费者，并根据选择仅查看相关的实体。SMM非常聪明，可以仅显示那些将数据发送到选定Topic的生产者，并且仅显示那些从这些Topic中消费的消费者组。筛选对四个实体中的任何一个进行选择。这使用户能够在对Kafka问题进行故障排除和调试时快速找到根本原因。

监控集群

概览页面为您提供了查看正在监视的Kafka集群快照的工具。

查看集群概览信息

您可以使用Overview选项卡查看有关Kafka集群的信息。此页面为您提供有关生产者、Broker、Topic和消费者组总数的信息。它还提供了有关生产者和消费者的更详细的指标。

查看页面顶部的生产者、Broker、Topic和消费者组信息，以了解您的Kafka集群中包含多少个。

您可以单击任何框中的下拉箭头以查看Kafka资源列表。选择一个或多个Kafka资源，以仅将这些视图过滤为视图。您也可以搜索特定资源。您可以随时单击清除以返回完整的概览。

监控生产者

了解生产者命名约定

在SMM中与之交互的生产者是根据创建Kafka生产者时添加的client.id属性来命名的。

活动与消极生产者

在“概述”页面上，生产者涉及活动生产者（active）或消极生产者（passive）。活动生产者在指定时间段内生产消息时处于活动状态。

在“生产者”页面上，消极生产者称为非活动生产者。

您可以在Streams Messaging Manager的“配置”屏幕中设置将生产者视为不活动的时间。

1. 从服务窗格中选择“ Streams Messaging Manager ”。

2. 单击“ 配置”，然后从“ 高级” 选项卡中选择“ 高级streams-messaging-manager-common ” 。

3. 更新inactive.producer.timeout.ms以更改生产者被视为不活动的时间段。以毫秒为单位指定此值。

识别生产者状态

有两种方法可以识别生产者是活动的还是消极的。

在“概述”页面的“生产者”窗格中，使用“活动”，“消极”和“所有”选项卡仅查看活动生产者，仅消极生产者或全部。这使您可以查看活动和消极生产者的总数。

在“生产者”页面上，列出了每个生产者的状态。

监控Topic

查看集群中的Topic总数

您可以在“ 概览”页面上查看Kafka集群中的Topic总数 。

有关Topic的详细信息

Topic页面包含许多有关您的KafkaTopic的有用详细信息。此页面可帮助您回答以下问题：

• 如何查看此Topic中的副本是否同步？

• 我如何看待本Topic的保留率？

• 如何查看此Topic的复制因子？

• 我如何看到与此Topic相关的生产者和消费者？

• 如何在指定的时间范围内找到进入该Topic的消息总数？

要访问此详细的Topic信息：

1. 在左侧导航窗格中，点击Topic。

2. 确定您想要有关其信息的Topic。您可以滚动浏览Topic列表，也可以使用页面左上方的搜索栏。

3. 单击Topic左侧的绿色六边形以查看详细信息。

监控Broker

详细Broker信息

Broker页面包含有关您的Kafka Broker的许多有用的详细信息。此页面可帮助您回答以下问题：

• 我的Broker位于什么主机上？

• 我的Broker是否磁盘空间不足？

要访问详细的Broker信息：

1. 在左侧导航窗格中，单击Brokers。

2. 确定您想要有关其信息的Broker。您可以滚动浏览“Broker”列表，也可以使用页面左上方的搜索栏。

3. 单击Broker左侧的绿色六边形以查看详细信息。

查看有关Broker主机的其他详细信息

您可以从Cloudera Manager/Ambari查看有关Broker主机的其他详细信息。要访问此信息：

1. 在左侧导航窗格中，单击Brokers。

2. 确定您想要有关其信息的Broker。您可以滚动浏览“Broker”列表，也可以使用页面左上方的搜索栏。

3. 单击“Broker”视图右侧的Ambari图标。

监控消费者

查看有关消费者组的摘要信息

概览页面在页面右侧为您提供有关消费者组的摘要信息。您可以使用“活动”，“消极”和“所有”选项卡仅在活动或消极或所有消费者组中查看消费者组。使用“滞后”选项卡可以根据滞后的升序或降序对消费者组进行排序。

查看有关消费者组的详细信息

要访问详细的消费者组信息：

1. 在左侧导航窗格中，单击“ 消费者组”。

2. 标识要获取其信息的消费者组。您可以滚动浏览消费者组列表，也可以使用页面左上方的搜索栏。

3. 单击“消费者组”左侧的绿色六边形以查看详细信息。

查看消费者组资料

消费者组配置文件显示有关每个消费者组的详细信息，包括：

• 组中包含的消费者数。

• 组中消费者实例的数量。

• 有关消费者组滞后的详细信息。

要访问消费者组个体资料：

1. 在“消费者组”页面上，选择要查看其配置文件的消费者组。

2. 单击“消费者”磁贴右上方的“配置文件”图标。

来源：https://docs.cloudera.com/csp/2.0.1/monitoring-kafka-clusters/topics/smm-monitoring-clusters.html