专栏首页大数据杂货铺Kafka运维篇之使用SMM监控Kafka集群复制

Kafka运维篇之使用SMM监控Kafka集群复制

继之前《Kafka运维篇之初识Streams Messaging Manager》、《Kafka运维篇之使用SMM监控Kafka集群》和《Kafka运维篇之使用SMM预警策略管理Kafka预警》之后。我们今天介绍使用使用SMM监控Kafka集群的复制。

监视集群复制概述

您可以使用Streams Replication Manager(SRM)在SMM中实现跨集群的KafkaTopic复制。

SRM是一种企业级复制解决方案,可实现容错,可扩展且健壮的跨集群KafkaTopic复制。SRM提供了动态更改配置的功能,并使Topic属性在高性能的集群之间保持同步。SRM还提供了自定义扩展,可促进安装,管理和监视,从而使SRM成为针对任务关键型工作负载构建的完整复制解决方案。有关SRM的更多信息,请参阅Streams Replication Manager for HDF和HDP文档库。

您需要在SMM中配置SRM属性。在SMM中配置SRM之后,可以使用SMM来监视环境中可用的所有Kafka集群复制。您可以在SMM中查看所有复制详细信息。您可以在SMM中监视Kafka集群复制的状态,与复制关联的Topic数,吞吐量,复制延迟以及Kafka集群复制的检查点延迟。

注意

您还可以根据在预警策略中配置的条件创建预警以接收通知,以监视系统中的Kafka集群复制。

查看复制详细信息

选择集群后,SMM将显示复制的详细信息,其中所选集群是目标集群。

您可以查看复制的状态,源集群名称,目标集群名称,要复制的Topic数,消费者组数,复制的吞吐量,复制延迟和检查点延迟。SMM还显示两个图形,一个表示复制的吞吐量,另一个显示复制的复制等待时间以及每个要复制Topic的详细信息。

执行以下步骤以查看集群复制的详细信息:

在“ 集群复制”页面中,单击集群复制或复制旁边的下拉图标,如下图所示:

复制详细信息如下图所示:

按源搜索集群复制

您可以使用页面右上方的按源搜索栏按源集群名称搜索集群复制。例如,如果目标集群是amsterdam,并且在“按源搜索”栏中输入scottsdale,则SMM将显示scottsdale和amsterdam之间的Kafka集群复制,如下图所示:

通过快速范围监视集群复制

您可以按时间范围过滤集群复制。您可以从下拉列表中选择以下任何过滤器值,以显示所选时间范围内的集群复制详细信息:

• 最近1小时

• 最近6小时

• 最近24小时

• 最近2天

下图显示了“ 快速范围”下拉列表:

监视要复制的集群的状态

您可以在“集群复制”页面的“状态”列中监视Kafka集群复制的状态。

状态具有三种变化:

• 活性。表示集群复制正在运行。

• 无效。指示集群复制未在运行。

• 警告。表示集群复制面临问题。

如果Kafka集群复制的状态显示为非活动或警告,请检查日志,并对复制进行故障排除。

监视要复制的Topic

您可以在“集群复制”页面的“Topic”列中监视与复制关联的Topic数。

单击集群复制以获取Topic详细信息。SMM显示有关Topic的以下详细信息:

• 源Topic名称。源中Topic的名称。

• 分区。源上Topic的分区数。

• 消费者组。消费该Topic数据的消费者组的数量。

• 吞吐量。每秒从一个Topic在源集群和目标集群之间复制的数据。吞吐量以每秒字节数为单位。默认情况下,SMM显示平均吞吐量。您还可以通过单击Topic详细信息上方的MAX或MIN按钮来获取Topic的最大或最小吞吐量。

• 复制延迟。Topic消息从源集群复制到目标集群所花费的时间。复制等待时间以毫秒为单位。默认情况下,SMM显示平均复制延迟。您还可以通过单击Topic详细信息上方的MAX或MIN按钮来获取Topic的最大或最小复制延迟。

• 检查点延迟。将Topic的消息提交到源集群后,将其发送到目标集群上的检查点所花费的时间。检查点等待时间以毫秒为单位。默认情况下,SMM显示平均检查点延迟。您还可以通过单击Topic详细信息上方的MAX或MIN按钮来获取Topic的最大或最小检查点延迟。

下图显示了集群复制中Topic的详细信息:

在该图中,您可以看到从CDFCluster复制到CDFClusterDR的Topic数为7,Topic详细信息包括Topic名称,源集群中Topic的分区数,使用每个Topic的消息的消费者组的数量,每个Topic的吞吐量,复制延迟和检查点延迟。

按Topic名称搜索

您可以使用“按Topic名称搜索”栏按名称搜索Topic并获取该Topic的详细信息。下图显示了CDFCluster__heartbeatsTopic的详细信息:

监视集群复制的吞吐量

您可以在SMM中监视Kafka集群复制的吞吐量。

吞吐量定义为每秒在源集群和目标集群之间复制的数据。吞吐量以每秒字节数为单位。

在该图像中,您可以看到CDFCluster到CDFClusterDR复制的平均吞吐量为每秒3个字节。您可以通过单击集群复制上方的MAX或MIN按钮来获取复制的最大或最小吞吐量。

您还可以以图形方式监视集群复制的吞吐量。SMM在集群详细信息中显示每个集群的吞吐量图。下图显示了CDFCluster到CDFClusterDR复制的吞吐量图:

监视复制延迟以进行集群复制

您可以在SMM中监视Kafka集群复制的复制延迟。

复制等待时间定义为消息从源集群复制到目标集群所花费的时间。复制等待时间以毫秒为单位。

在该图像中,您可以看到CDFCluster到CDFClusterDR复制的平均复制延迟为16.0毫秒。您可以通过单击集群复制上方的MAX或MIN按钮来获取复制的最大或最小复制延迟。

您可以以图形方式监视集群复制的复制延迟。SMM在集群详细信息中显示每个集群的“复制延迟”图。下图显示了CDFCluster到CDFClusterDR复制的复制延迟图:

监视集群复制的检查点延迟

您可以在SMM中监视Kafka集群复制的检查点延迟。

检查点等待时间定义为Topic消息在源集群上提交后,在目标集群上到达目标集群的检查点所花费的时间。检查点等待时间以毫秒为单位。

在该图像中,您可以看到CDFCluster到CDFClusterDR复制的平均检查点延迟为4.6毫秒。您可以通过单击集群复制上方的MAX或MIN按钮来获取复制的最大或最小复制延迟。

注意

如果集群复制或Topic的检查点延迟显示为“不可用”,则意味着未定义消费者组。

通过值监视吞吐量和延迟

您可以获取吞吐量,复制延迟和检查点延迟的平均值,最大值和最小值。

您可以在以下级别上执行此操作:

• 集群复制级别。单击AVG,MAX或MIN按钮,如下图所示,以获取集群复制的吞吐量,复制延迟和检查点延迟的平均值,最大值或最小值。

• Topic级别。单击AVG,MAX或MIN按钮,如下图所示,以获取Topic的吞吐量,复制延迟和检查点延迟的平均值,最大值或最小值。

来源:https://docs.cloudera.com/csp/2.0.1/monitoring-kafka-cluster-replications/topics/smm-monitoring-replications-overview.html

本文分享自微信公众号 - 大数据杂货铺(bigdataGrocery),作者:大数据杂货铺

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-12-29

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • SRM常见用例和架构

    Streams Replication Manager(SRM)是一种企业级复制解决方案,可实现容错、可扩展且健壮的跨集群Kafka主题复制。SRM提供了动态更...

    大数据杂货铺
  • 现有CDP-DC集群启用Auto-TLS

    传输层安全性(TLS)在ClouderaManager服务器和代理之间的通信中提供加密和身份验证。 加密可防止通信侦听,并且身份验证有助于防止恶意服务器或代理在...

    大数据杂货铺
  • 运营数据库系列之高可用性

    这篇博客文章是CDP中Cloudera的操作数据库(OpDB)系列文章的一部分。每篇文章都会详细介绍新功能。从该系列的开头开始,请参阅《CDP中的运营数据库》,...

    大数据杂货铺
  • CurcveLane-NAS:华为&中大提出一种结合NAS的曲线车道检测算法

    论文地址:http://arxiv.org/pdf/2007.12147v1.pdf

    AI算法修炼营
  • 聊聊Java中的位运算:与、或、非、异或、左移、右移、无符号右移【小家Java】

    提及位运算,相信对绝大多数Java程序员是感觉既陌生又熟悉的。陌生是因为你大概率没有去真实的使用过,熟悉是有时在看些开源框架(或者JDK源码)时会时长看到有使用...

    YourBatman
  • 4个for/while循环语句及case语句实用脚本

    脚本1:工作中如果要批量关机,可使用以下脚本查看192.168.4.0网段哪些是关机,哪些是开机状态。 ? 备注:1.{1..254}也可写作`seq 1 ...

    吴柯
  • 信息检索&FAQ硬核技术!SimNet模型

    导读:飞桨PaddlePaddle致力于让深度学习技术的创新与应用更简单。飞桨开源的百度自研SimNet-BOW-Pairwise语义匹配模型,在真实的FAQ问...

    用户1386409
  • 任正非:鸿蒙系统已经上网,即将应用到全系产品

    据新浪报道,华为创始人任正非在 2020 冬季达沃斯论坛上表示,鸿蒙系统已经上网,未来会应用到华为旗下手机、平板、电视等系列产品。

    SDNLAB
  • 华为「鸿蒙」出世:全球首个微内核全场景分布式OS,可取代安卓,发布即开源

    这是华为历史上规模最大的一次开发者大会,除了万众瞩目的鸿蒙系统之外,华为 EMUI10 系统、搭载海思鸿鹄 818 智能芯片的「荣耀智慧屏」也会在大会上陆续亮相...

    机器之心
  • Silverlight4控件纯客户端注册验证

    本文实现了一个实验性的Silverlight控件纯客户端注册验证机制。希望做过这方面的朋友多给些指导性意见。 先给大家介绍一下Silverlight客户端...

    葡萄城控件

扫码关注云+社区

领取腾讯云代金券