如何用Know Streaming来查询Kafka的消息

功能简介

Kafka的消息查看功能算是一个呼声比较高的需求了。但是它目前还并不能像RocketMq那样比较友好的对消息做一些复杂查询操作。

目前KnowStreaming的实现方式是使用Consumer客户端来拉取数据

操作流程

①. Topic列表 - > Topic详情 -> Messages

在这里插入图片描述

操作亮点

多维度过滤查询

1. 选择offset类型： latest(最近) | earliest (最早)

在这里插入图片描述

1. 选择指定分区

在这里插入图片描述

1. 指定Key / Value

在这里插入图片描述

数据截断

在这里插入图片描述

实现原理

构建KafkaConsumer客户端，调用KafkaAdminClient请求获取数据。

Know Streaming介绍

Know Streaming脱胎于互联网公司内部多年的Kafka运营实践经验，通过0侵入、插件化构建企业级Kafka服务，极大降低操作、存储和管理实时流数据门槛 不会对Apache Kafka做侵入性改造，就可纳管0.10.x-3.x集群版本，帮助您提升集群管理水平；我们屏蔽了流处理的复杂性，让普通运维人员都能成为流处理专家

Know Streaming Github

Know Streaming 官网

如何参与共建