一文搞懂 Kafka 开源可视化 Web UI - Kafdrop

Luga Lee

发布于 2023-03-10 14:49:01

3.9K2

发布于 2023-03-10 14:49:01

文章被收录于专栏：架构驿站架构驿站

Hello folks，我是 Luga，今天我们来分享一下与 Kafka 有关的观测性话题- Kafdrop。作为一个构建在 Spring Boot 之上的免费 Web UI工具，越来越受到广大技术人员的喜好。

— 01 —

背景概述

Kafdrop 是一个 Apache 2.0 许可项目，作为一款 Apache Kafka Web UI 可视化工具，在无数的开源选项中，Kafdrop 以其简单、快速和易于使用而脱颖而出。同时，它是一个开源 Web 项目，允许查看来自 Kafka 代理的信息，如现有主题、消费者，甚至是发送的消息内容。

那么，Kafdrop到底有什么可圈可点的优势呢？接下来，我们来简要看一下 Kafdrop 的核心功能，具体如下所示：

1、查看 Kafka 代理 -主题和分区分配以及控制器状态

2、查看主题 -分区数，复制状态和自定义配置

3、浏览消息 -JSON，纯文本和 Avro 编码

4、查看消费者组 -每个分区的停放偏移量，合并延迟和每个分区滞后

5、创建新主题

6、查看 ACL 等

— 02 —

基于 Docker 运行

通常情况下，若基于 Docker 容器引擎运行 Kafdrop 组件，我们可采用如下 2 种方式启动。

1、后台直接运行

[leonli@Leon ~ ] % docker run -d --rm -p 19000:9000 \
    -e KAFKA_BROKERCONNECT=<host:port,host:port> \
    -e JVM_OPTS="-Xms32M -Xmx64M" \
    -e SERVER_SERVLET_CONTEXTPATH="/" \
    obsidiandynamics/kafdrop

2、基于 Protobuff 定义在后台运行

[leonli@Leon ~ ] % docker run -d --rm -v <path_to_protobuff_descriptor_files>:/var/protobuf_desc -p 19000:9000 \
    -e KAFKA_BROKERCONNECT=<host:port,host:port> \
    -e JVM_OPTS="-Xms32M -Xmx64M" \
    -e SERVER_SERVLET_CONTEXTPATH="/" \
    -e CMD_ARGS="--message.format=PROTOBUF --protobufdesc.directory=/var/protobuf_desc" \
    obsidiandynamics/kafdrop

针对上述的 2 种不同参数方式运行后，我们可以通过 http://localhost:19000 访问 Web UI。

— 03 —

基于 Kubernetes 运行

这里，我们分别基于 Helm 以及 Kubernetes Manifest file 进行部署安装，具体可参考如下。

基于 Helm 部署

1、获取代码仓库

[leonli@Leon ~ ] % git clone https://github.com/obsidiandynamics/kafdrop && cd kafdrop
Cloning into 'kafdrop'...
remote: Enumerating objects: 4502, done.
remote: Counting objects: 100% (35/35), done.
remote: Compressing objects: 100% (33/33), done.
Receiving objects:   4% (181/4502), 36.00 KiB | 4.00 KiB/s
...

2、执行安装

[leonli@Leon kafdrop ] % helm upgrade -i kafdrop chart --set image.tag=3.x.x \
    --set kafka.brokerConnect=<host:port,host:port> \
    --set server.servlet.contextPath="/" \
    --set cmdArgs="--message.format=AVRO --schemaregistry.connect=http://localhost:8080" \ #optional
    --set jvm.opts="-Xms32M -Xmx64M"

基于 Manifest file 部署

1、编写 kafdrop-deployment.yaml

[leonli@Leon ~ ] % vi kafdrop-deployment.yaml
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: kafka-kafdrop-deployment
  namespace: "kafdrop"
  labels:
    app: kafka-kafdrop
spec:
  replicas: 1
  selector:
    matchLabels:
      app: kafka-kafdrop
  strategy:
    rollingUpdate:
      maxSurge: 1
      maxUnavailable: 0
    type: RollingUpdate
  template:
    metadata:
      labels:
        app: kafka-kafdrop
    spec:
      volumes:
        - name: tz-config
          hostPath:
            path: /usr/share/zoneinfo/Asia/Kolkata
      containers:
        - image: obsidiandynamics/kafdrop
          imagePullPolicy: Always
          name: kafka-kafdrop
          volumeMounts:
            - name: tz-config
              mountPath: /etc/localtime
          resources:
            limits:
              cpu: 200m
              memory: 1Gi
            requests:
              cpu: 200m
              memory: 1Gi
          terminationMessagePath: /dev/termination-log
          terminationMessagePolicy: File
          ports:
            - containerPort: 5010
              name: server
            - containerPort: 5012
              name: jmx
          env:
            - name: JVM_OPTS
              value: "-Xms512M -Xms512M"
            - name: SERVER_SERVLET_CONTEXTPATH
              value: "/"
            - name: KAFKA_BROKERCONNECT
              value: "<kafka_broker_ip>:9092"
      restartPolicy: Always

2、进行创建及部署

[leonli@Leon ~ ] % kubectl apply -f kafdrop-deployment.yaml

通常情况下，主题的创建和删除默认是通过 KafDrop 启用的。因此，如果要禁用主题创建和删除功能，那么，我们需要在 YAML 文件的 env 部分添加以下内容，具体如下所示：

- name: CMD_ARGS
  value: "--topic.deleteEnabled=false --topic.createEnabled=false"

若要从本地计算机的浏览器访问 Kafdrop UI，我们需要创建一个 Kubernetes 服务，该服务将指向在上一步中创建的 Deployment。在其中创建 kafdrop-service.yaml并添加以下参数：

---
apiVersion: v1
kind: Service
metadata:
  name: kafka-kafdrop-service
  namespace: "kafdrop"
  labels:
    app: kafka-kafdrop
  annotations:
    cloud.google.com/load-balancer-type: "Internal"
spec:
  ports:
    - protocol: "TCP"
      port: 9000
      name: server
  selector:
    app: kafka-kafdrop
  type: LoadBalancer

然后进行如下操作，具体可参考：

[leonli@Leon ~ ] % kubectl apply -f kafdrop-service.yaml

等待服务启动后，我们可以从浏览器访问 Kafdrop UI ，至此，基于 Kubernetes 的 2种部署方式解析完成，接下来将是工具的操作使用。

— 04 —

Kafdrop 操作指南

在完成上述的部署操作后，我们通过访问 http://localhost:19000 进入 Kafdrop GUI 窗体，具体可参考：

此页面显示了整个 Kafka 集群所有相关的信息，例如，Topic（主题）总数、Topic（主题）名称、Partitions（分区）、Broker（代理）详细信息等详细信息等。同时，随着集群规模和主题（以及分区）数量的增长，我们通常希望看到集群中的分区大致呈水平分布，以评估当前集群的性能情况，为后续资源配置进行优化。

此时，我们点击要查看其详细信息的任何 Kafka 主题，它将打开一个页面，其中包含分区计数、复制因子、偏移延迟、复制不足的分区等详细信息，如下图所示：

这里，我们模拟生产者生产消息，然后去平台对应的 Topic 查看所生产的消息以及消息的相关内容情况，具体如下所示：

bash-4.4# ./kafka-console-producer.sh --broker-list localhost:9092 --topic FLINK_TO_TASK_PROD
>'Merchant-2020-001' Values:'111111111111100000000000000','MerID:20200202020202'
>'Merchant-2020-001' Values:'111111111111100000000000000','MerID:20200202020203'
>'Merchant-2020-001' Values:'111111111111100000000000000','MerID:20200202020205'
>'Merchant-2020-001' Values:'111111111111100000000000000','MerID:20200202020208'
>'Merchant-2020-001' Values:'111111111111100000000000000','MerID:20200202020200'
>'Merchant-2020-001' Values:'111111111111100000000000000','MerID:20200202020207'
>

此时，我们进入“消息”窗口，这正是我们所期望的——所选分区按时间顺序排列的消息列表。

每个消息列表都方便地显示偏移量、记录键（如果设置了）、发布时间戳以及生产者可能附加的任何标头。