真魔法！图形化管理 Kafka 超轻量的自动化工具

我的小碗汤

发布于 2023-03-19 17:39:27

8650

发布于 2023-03-19 17:39:27

文章被收录于专栏：我的小碗汤我的小碗汤

Kafka Magic[1] 是一个用于处理 Apache Kafka 集群的 GUI 工具。它可以查找和显示消息、在 Topic 之间转换和移动消息、查看和更新模式、管理 Topic 以及自动化复杂任务。

Kafka Magic 通过方便的用户界面促进 Topic 管理、QA 和集成测试。

Kafka Magic Community Edition 可免费供个人和企业使用。在这里下载[2]

使用 JavaScript 查询搜索、查看、过滤消息

浏览 Kafka 集群、Topic 和分区。
使用带有消息字段、标题、键的任意组合的 JavaScript 查询来搜索消息。
按分区、偏移量和时间戳过滤消息。
查看字符串、JSON 或 Avro 序列化消息。
支持 Ssl、PlainText、Sasl Plain Text、Sasl Ssl 安全协议的集群
支持 GSSAPI、PLAIN、SCRAM-SHA-256、SCRAM-SHA-512 的 Sasl mechanism 的集群

发布消息

将 JSON 或 Avro 消息发布到 Topic
使用 Context 发布消息：Key、Headers、Partition Id
在一个步骤中将多条消息发布为一个数组

在 Topic 之间移动消息

在一个 Topic 中查找消息并将它们发送到另一个 Topic
即时转换消息并更改分配的架构
在多个 Topic 之间有条件地分发消息

管理 Topic 和 Avro 模式

读取集群和 Topic 元数据
创建、克隆和删除 Topic
读取和注册 Avro 模式

自动化复杂任务

使用 JavaScript（完全符合 ECMAScript）编写任何复杂的自动化脚本
使用 IntelliSense 和自动完成助手支持的简单命令编写脚本
直接从 UI 执行长时间运行的集成测试
保持对测试执行的完全控制

Kafka Magic 有效地处理包含数百万条消息的非常大的 Topic。

为企业环境而设计

使用场景

发展：利用 Apache Kafka 快速验证软件[3]
一体化：验证 Avro 模式和消息[4]
测试和质量保证：运行复杂的集成测试脚本[5]
支持：发现并解决运营问题[6]
遵守：在 Kafka 中搜索特定内容[7]

任何方式部署：

作为 Windows、Linux 和 Mac 的桌面应用程序。
作为部署在更靠近 Kafka 集群的 Docker 容器。
单独为每个开发人员，
或整个团队的单个实例。（每个用户可能仍需要用户访问许可证）

部署

docker 部署

参考：docker 部署[8]

Kafka Magic Docker 容器 (Linux amd64) 托管在 Docker Hub 的存储库digitaly/kafka-magic中。

拉取镜像：

docker pull digitsy/kafka-magic

Web 界面在端口 80 上公开。要运行容器并映射到不同的端口（例如 8080）：

docker run -d --rm -p 8080:80 digitsy/kafka-magic

在浏览器中导航到http://localhost:8080

docker-compose 部署

对于 docker-compose 示例，请参见 快速开始[9]

Kubernetes 中部署

默认情况下，Kafka Magic 应用程序的 Docker 容器版本配置为将配置存储在内存中。

要配置文件存储，您可以通过环境变量更新配置。使用的配置环境变量的名称 KMAGIC 前缀，需要创建这些环境变量：

KMAGIC_CONFIG_STORE_TYPE: "file"
KMAGIC_CONFIG_STORE_CONNECTION: "Data Source=/tmp/kmagic-data;"
KMAGIC_CONFIG_ENCRYPTION_KEY: "kmagic-key"

完整的部署 Yaml 如下：

kind: PersistentVolumeClaim
apiVersion: v1
metadata:
  name: kafka-magic-data
  namespace: kafka
  finalizers:
    - kubernetes.io/pvc-protection
spec:
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 10Gi
  storageClassName: ceph-rbd
  volumeMode: Filesystem
---
kind: Service
apiVersion: v1
metadata:
  name: kafka-magic
  namespace: kafka
  labels:
    app: kafka-magic
    version: v1
spec:
  ports:
    - name: tcp-80
      protocol: TCP
      port: 80
      targetPort: 80
  selector:
    app: kafka-magic
  type: ClusterIP
---
kind: Deployment
apiVersion: apps/v1
metadata:
  name: kafka-magic-v1
  namespace: kafka
  labels:
    app: kafka-magic
    version: v1
spec:
  replicas: 1
  selector:
    matchLabels:
      app: kafka-magic
      version: v1
  template:
    metadata:
      creationTimestamp: null
      labels:
        app: kafka-magic
        version: v1
    spec:
      volumes:
        - name: host-time
          hostPath:
            path: /etc/localtime
            type: ''
        - name: volume-ptfuxd
          persistentVolumeClaim:
            claimName: kafka-magic-data
      containers:
        - name: kmagic
          image: digitsy/kafka-magic
          ports:
            - name: tcp-80
              containerPort: 80
              protocol: TCP
          env:
            - name: KMAGIC_CONFIG_STORE_TYPE
              value: file
            - name: KMAGIC_CONFIG_STORE_CONNECTION
              value: Data Source=/config/KafkaMagicConfig.db;
            - name: KMAGIC_CONFIG_ENCRYPTION_KEY
              value: kmagic-key
          resources:
            limits:
              cpu: '1'
              memory: 1Gi
            requests:
              cpu: 500m
              memory: 512Mi
          volumeMounts:
            - name: host-time
              readOnly: true
              mountPath: /etc/localtime
            - name: volume-ptfuxd
              mountPath: /config/
              subPath: KafkaMagicConfig.db
          imagePullPolicy: IfNotPresent

上面Yaml中使用了 ceph-rbd storageclass 存储，请根据实际情况修改。

笔者的集群为扁平化网络，Service ClusterIP 和 PodIP 集群外是可以访问的，集群泛域名已经在内网 DNS 中配置了转发规则。

当然也可以通过 NodePort、Ingress 等方式暴露服务。

笔者部署之后 Kafka Magic 的访问地址为：

http://kafka-magic.kafka.svc.{集群域名后缀}

使用

不注册账号只能添加集群查询消息。注册登录账号，可以使用的功能更多。

注意：用 qq 邮箱，总是收不到验证码。用 gmail 邮箱很顺利。

注册 Kafka 集群

点击 Register New 注册 Kafka 集群：

发送消息

查询消息

Maximum Result 的范围是[0, 10000]

执行自动化任务

下面脚本将在My cluster name 集群中创建一个my_new_topic_name 的 topic，并发送消息{ "myField1": "bar", "myField2": 3 }，然后查询消息，最后 delete topic：

// Automation script example:

Magic.reportProgress('Started: ' + new Date());

var topic = Magic.createTopic('My cluster name', 'my_new_topic_name');
topic.publishMessage({ "myField1": "bar", "myField2": 3 });

var messages = topic.search(false, 10, function (context) {
return context.Message.myField1 == 'bar';
});

topic.delete();

Magic.reportProgress('Done: ' + new Date());
return messages;


return 'Done!';