前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Kafka运维命令大全

Kafka运维命令大全

作者头像
大数据流动
发布2019-09-29 16:04:34
4850
发布2019-09-29 16:04:34
举报
文章被收录于专栏:实时计算

1、集群管理

前台启动broker

代码语言:javascript
复制
bin/kafka-server-start.sh <path>/server.properties

Ctrl + C 关闭

后台启动broker

代码语言:javascript
复制
bin/kafka-server-start.sh -daemon <path>/server.properties

关闭broker

代码语言:javascript
复制
bin/kafka-server-stop.sh

2、Topic管理

创建topic

代码语言:javascript
复制
bin/kafka-topics.sh --create --zookeeper localhost:2181 --partitions 3 --replication-factor 3 --topic topicname 

删除topic

代码语言:javascript
复制
bin/kafka-topics.sh --delete --zookeeper localhost:2181 --topic topicname 

查询topic列表

代码语言:javascript
复制
bin/kafka-topics.sh --zookeeper localhost:2181 --list

查询topic详情

代码语言:javascript
复制
bin/kafka-topics.sh --zookeeper localhost:2181 --describe --topic topicname 

修改topic

代码语言:javascript
复制
bin/kafka-topics.sh --alter --zookeeper localhost:2181 --partitions 6 --topic topicname 

3、Consumer-Groups管理

查询消费者组

代码语言:javascript
复制
bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list 

查询消费者组详情

代码语言:javascript
复制
bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group groupname 

重设消费者组位移

代码语言:javascript
复制
最早处
bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group groupname --reset-offsets --all-topics --to-earliest --execute
最新处
bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group groupname --reset-offsets --all-topics --to-latest --execute
某个位置
bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group groupname --reset-offsets --all-topics --to-offset 2000 --execute
调整到某个时间之后得最早位移
bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group groupname --reset-offsets --all-topics --to-datetime 2019-09-15T00:00:00.000

删除消费者组

代码语言:javascript
复制
bin/kafka-consumer-groups.sh --zookeeper localhost:2181 --delete --group groupname

4、脚本工具

producer脚本

代码语言:javascript
复制
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic topicname 
参数含义:
--compression-codec lz4  压缩类型
--request-required-acks all acks的值
--timeout 3000  linger.ms的值
--message-send-max-retries 10   retries的值
--max-partition-memory-bytes batch.size值

consumer脚本

代码语言:javascript
复制
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topicname --from-beginning
指定groupid
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topicname --from-beginning
--consumer-property group.id=old-consumer-group
指定分区
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topicname --from-beginning
--partition 0

kafka-run-class脚本

代码语言:javascript
复制
kafka-run-class.sh kafka.tools.ConsoleConsumer   就是 kafka-console-consumer.sh
kafka-run-class.sh kafka.tools.ConsoleProducer   就是 kafka-console-producer.sh

获取topic当前消息数

代码语言:javascript
复制
kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list localhost:9092 --topic topicname --time -1

--time -1表示最大位移 --time -2表示最早位移

查询_consumer_offsets

代码语言:javascript
复制
bin/kafka-simple-consumer-shell.sh --topic _consumer_offsets --partition 12 --broker-list localhost:9092 --formatter "kafka.coorfinator.GroupMetadataManager\$OffsetsMessageFormatter"

5、MirrorMaker

跨机房灾备工具

代码语言:javascript
复制
bin/kafka-mirror-maker.sh --consumer.config consumer.properties --producer.config producer.properties --whitelist topicA|topicB

更多实时计算,Flink,Kafka等相关技术博文,欢迎关注实时流式计算

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2019-09-16 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 1、集群管理
  • 2、Topic管理
  • 3、Consumer-Groups管理
  • 4、脚本工具
  • 5、MirrorMaker
相关产品与服务
流计算 Oceanus
流计算 Oceanus 是大数据产品生态体系的实时化分析利器,是基于 Apache Flink 构建的企业级实时大数据分析平台,具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点。流计算 Oceanus 以实现企业数据价值最大化为目标,加速企业实时化数字化的建设进程。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档