kafka-console-producer.sh 脚本通过调用 kafka.tools.ConsoleProducer 类加载命令行参数的方式,在控制台生产消息的脚本。...一、无key型消息 默认情况下,所生产的消息是没有 key 的,命令如下: bin/kafka-console-producer.sh --bootstrap-server localhost:9092...--topic topicName 执行上述命令后,就会在控制台等待键入消息体,直接输入消息值(value)即可,每行(以换行符分隔)表示一条消息,如下所示。...>Hello Kafka! >你好 kafka! ...二、有key型消息 当需要为消息指定 key 时,可使用如下命令: bin/kafka-console-producer.sh --bootstrap-server localhost:9092 --
服务管理 前台启动broker bin/kafka-server-start.sh /server.properties Ctrl + C 关闭 后台启动broker bin/kafka-server-start.sh...-daemon /server.properties 关闭broker bin/kafka-server-stop.sh 2....查询topic列表 bin/kafka-topics.sh --zookeeper localhost:2181 --list 查询topic详情 bin/kafka-topics.sh --zookeeper...:2181 --partitions 6 --topic topicname 相关可选参数 参数 描述 例子 --bootstrap-server指定kafka服务 指定连接到的kafka服务; 如果有这个参数...消息管理 实时接收消息 bin/kafka-console-consumer.sh --topic topin --bootstrap-server ip:port 参考资料 Kafka运维命令大全
一.基本操作 1.启动kafka bin/kafka-server-start.sh -daemon config/server.properties 2.关闭kafka bin/kafka-server-stop.sh...3.查看kafka topic是否支持集群,没反应就是正确 bin/kafka-topics.sh --describe --zookeeper 1.1.1.1:2181,1.1.1.2:2181,1.1.1.3...:2181 --topic MyTopic 4.查看当前zookerrper下的kafka集群所有的topic bin/kafka-topics.sh --list --zookeeper 1.1.1.1...1 --topic topic名字 7.通过list命令查看创建的topic bin/kafka-topics.sh --list --zookeeper 127.0.0.1:2181 8.删除一个topic...This is a message 你在一个终端中运行consumer命令行,在另一个终端中运行producer命令行,就可以在一个终端输入消息,另一个终端读取消息。
如果没装,出门右转,先把jdk搞完再回来接着看,linux安装jdk环境 ---- 搭建zookeeper集群 虽然kafka 0.5.x 以上版本已经集成了zk,但我们最好还是单独部署一套...安装zookeeper其实也不复杂,只是会有很多坑,我下面的每一步都不要漏掉,最容易出问题的地方就是路径,建议路径保持和我一致,这样你基本直接复制我的命令就能用 1、来到你的服务器,到opt目录,...安装包 wget https://archive.apache.org/dist/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz 如果提示wget命令不存在...kafkaServer.out 如果显示如下信息,则就是你机器内存不足 简单,执行下面命令设置kafka启动参数 export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M..." 再次启动,如果还提示内存不足 清下机器缓存 sync echo 3 > /proc/sys/vm/drop_caches 如果不是以上原因,就只能根据启动日志来灵活解决了 其它kafka常用命令
命令:在kafka 目录下bin目录下执行: ....命令:在kafka 目录下bin目录下执行: ....命令:在kafka 目录下bin目录下执行: ....命令:在kafka 目录下bin目录下执行: ....终、、 ---- 以上就是linux安装kafka方法,有什么问题可以联系我哈。 ---- 感谢一路支持我的人。。。。。
/zkServer.sh status 5、启动kafka # ./kafka-server-start.sh -daemon ...../config/server.properties & 6、查看kafka是否启动 # ps -ef |grep kafka 7、关闭kafka # ..../kafka-server-stop.sh 8、创建topic # ..../kafka-topics.sh --describe --zookeeper 172.16.218.201:2181,172.16.218.202:2181,172.16.218.203:2181 -...test 命令无法删除,topic被标记为删除时候,用下面命令删除 # cd /usr/local/zookeeper-node3/bin/ # .
整理kafka相关的常用命令 管理 ## 创建主题(4个分区,2个副本) bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor...--zookeeper zk_host:port/chroot kafka自带压测命令 bin/kafka-producer-perf-test.sh --topic test --num-records...安装者都会把kafka路径设置为/usr/local/kafka。...无法得知kafka是什么版本,并且也没有像-version类似的命令。 执行以下命令,获得kafka版本。...# 进入kafka目录 cd /usr/local/kafka # 执行以下命令 find .
直接敲命令感觉有些low呀。弄一个脚本命令吧: 启动脚本: 进入kafka目录下 输入命令:vi kafkaStart.sh 添加内容为: #!...启动命令:sh $zookeeper_home/bin/zkServer.sh start 2、启动kafka 在kafka目录下输入 启动脚本命令: ....): 命令:在kafka 目录下bin目录下执行: ....(test topic): 命令:在kafka 目录下bin目录下执行: ....十、到此结束kafka单机版本就集成了 我们来停止kafka网上有很多脚本 你们可以参考一下 关闭脚本:进入kafka目录下 输入命令:vi kafkaStop.sh #!
3),Controller有个后台线程负责删除Topic 三,源码彻底解析topic的删除过程 此处会分四个部分: A),客户端执行删除命令作用 B),不配置delete.topic.enable整个流水的源码...C),配置了delete.topic.enable整个流水的源码 D),手动删除zk上topic信息和磁盘数据 1,客户端执行删除命令 bin/kafka-topics.sh –zookeeper zk_host...:port/chroot –delete –topic my_topic_name 进入kafka-topics.sh我们会看到 exec (dirname 0)/kafka-run-class.sh...delete.topic.enable整个流水是 总共有两处listener会响应: A),TopicChangeListener B),DeleteTopicsListener 使用topic的删除命令删除一个...delete.topic.enable配置该参数为false的情况下执行了topic的删除命令,实际上未做任何动作。
1)查看当前集群中已存在的主题topic bin/kafka-topics.sh --zookeeper hd09:2181 --list 2)创建topic bin/kafka-topics.sh -...guan --zookeeper 连接zk集群 --create 创建 --replication-factor 副本 --partitions 分区 --topic 主题名 3)删除主题 bin/kafka-topics.sh...--zookeeper hd09-01:2181 --delete --topic guan 4)发送消息 生产者启动: bin/kafka-console-producer.sh --broker-list...hd09-01:9092 --topic guan 消费者启动: bin/kafka-console-consumer.sh --bootstrap-server hd09-01:9092 --topic...guan --from-beginning 5)查看主题详细信息 bin/kafka-topics.sh --zookeeper hd09-01:2181 --describe --topic guan
启动Kafka:kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties 创建一个叫test的话题,有两个分区,每个分区3个副本...2 查看创建的topic:kafka-topics.sh --zookeeper localhost:2181 --list 查看所有话题的详细信息:kafka-topics.sh --zookeeper...test 删除一个话题:kafka-topics.sh --zookeeper localhost:2181 --delete --topic test 生产消息:kafka-console-producer...kafka.tools.GetOffsetShell --broker-list localhost:9092 --topic test --time -1 显示所有消费者:kafka-consumer-groups.sh...--describe --group console-consumer-63307 --bootstrap-server localhost:9092 停止Kafka:kafka-server-stop.sh
Kafka的shell命令使用一、创建topic 创建一个topic(主题)。Kafka中所有的消息都是保存在主题中,要生产消息到Kafka,首先必须要有一个确定的主题。...bin/kafka-console-producer.sh --broker-list node1:9092 --topic test三、从kafka中消费消息 使用下面的命令来消费 test 主题中的消息...bin/kafka-console-consumer.sh --bootstrap-server node1:9092 --topic test四、查看主题的命令 查看 kafka 当中存在的主题 bin.../kafka-topics.sh --list --zookeeper node1:2181,node2:2181,node3:2181五、运行describe的命令 运行 describe 查看 topic...如果需要立即删除,则需要 在server.properties 中配置: delete.topic.enable=true 然后执行以下命令进行删除 topic bin/kafka-topics.sh
kafka-cli是一个python开发的极简消息查询工具,兼容python 2.6+/3.6+。 可以使用pip install kafka-cli命令安装。...也可以直接从github.com/chenwumail/kafka-cli下载源代码直接执行,源代码运行时需要用pip install kafka安装依赖的kafka python客户端包。...二、查看全部topic kafka-cli 127.0.0.1:9092 三、查看topic的partition,以及partition的最小、最大offset kafka-cli 127.0.0.1:...9092 topic1 四、查询partition中offset处的消息 kafka-cli 127.0.0.1:9092 topic1 0 0 命令行中第一个0是指partition,第二个0是offset...七、获取帮助 kafka-cli 不带任何参数,会显示帮助信息。另外,在命令行参数个数出错时,也会显示一行错误信息,再在后面显示帮助信息。
OverView Topic主题命令行操作 重要参数 参数 描述 --bootstrap-server 连接Kafka Broker的主机名和端口号 --topic 操作的主题名称 --create 创建主题...主题的命令行工具参数,通常用于kafka-topics.sh工具。...以下是每个参数的描述: --bootstrap-server:指定要连接的Kafka Broker的主机名和端口号,用于建立连接到Kafka集群的初始引导服务器。...) 生产者命令行操作 重要参数 参数 描述 --bootstrap-server 连接Kafka Broker的主机名和端口号 --topic 操作的主题名称 帮助文档 # 查看帮助文档 [root...的消费,默认只能收到之后的消息) >666 > 消费者命令行操作 重要参数 参数 描述 --bootstrap-server 连接Kafka Broker的主机名和端口号 --topic 操作的topic
1、集群管理 前台启动broker bin/kafka-server-start.sh /server.properties Ctrl + C 关闭 后台启动broker bin/kafka-server-start.sh...-daemon /server.properties 关闭broker bin/kafka-server-stop.sh 2、Topic管理 创建topic bin/kafka-topics.sh...管理 查询消费者组 bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list 查询消费者组详情 bin/kafka-consumer-groups.sh...kafka-run-class.sh kafka.tools.ConsoleConsumer 就是 kafka-console-consumer.sh kafka-run-class.sh kafka.tools.ConsoleProducer...就是 kafka-console-producer.sh 获取topic当前消息数 kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list
,提取码: 61bc 1.1 Java环境为前提 1.1.1 上传jdk-8u261-linux-x64.rpm到服务器并安装 1.1.2 配置环境变量 至此,jdk安装成功。...1.3 Kafka 的安装与配置 1.3.1 上传kafka_2.12-1.0.2.tgz到服务器并解压 1.3.2 配置环境变量并生效 1.3.3 配置/opt/kafka_2.12-1.0.2.../config中的server.properties文件 配置kafka存储持久化数据目录 创建上述持久化数据目录 1.4 启动Kafka 进入Kafka安装的根目录,执行如下命令:...1.5 重新开一个窗口,查看Zookeeper的节点 1.6 此时Kafka是前台模式启动,要停止,使用Ctrl+C 如果要后台启动,使用命令: 查看Kafka的后台进程: 停止后台运行的Kafka...2.1 kafka-topics.sh 用于管理主题 查看命令的帮助信息 列出现有主题,创建主题,该主题包含一个分区,该分区为Leader分区,它没有Follower分区副本。
安装包准备 JDK1.8 : JDK1.8 kafka_2.12-2.6.0 : kafka_2.12-2.6.0 zookeeper-3.5.8 : zookeeper-3.5.8 kafka_...} 配置JAVA环境 tar -zxvf jdk-8u221-linux-x64.tar.gz -C /usr/local/ echo "export JAVA_HOME=/usr/local/jdk1.8.0.../zkServer.sh status 搭建Kafka集群 节点一 ##部署kafka服务 wget https://mirror.bit.edu.cn/apache/kafka/2.6.0/kafka.../kafka-server-start.sh -daemon /usr/local/kafka_2.12-2.6.0/config/server.properties jps 节点二 ##部署kafka...服务 wget https://mirror.bit.edu.cn/apache/kafka/2.6.0/kafka_2.12-2.6.0.tgz tar -zxvf kafka_2.12-2.6.0.
把kafka解压到linux去配置文件中配置环境 配置kafka文件内容 进入kafka/config目录修改server.properties 文件 修改broker.id= id...192.168.10.101:9092 在下面找到log.dirs修改日志的地址 修改为我们三台机器ip地址 zookeeper.connect=localhost:2181 启动kafka...先要三台机器都启动zookeeper集群 把kafka分发到另外几台机器中 环境也要进行分发 把另外几台机器的ip 和id修改成相应的ip即可 修改完后直接启动服务即可 kafka-server-start.sh...kafka/config/server.properties & kafka测试创建主题 kafka-topics.sh --create --zookeeper hadoop2:2181 --replication-factor...1 --partitions 1 --topic lol 查看当前所有列表 kafka-topics.sh --zookeeper hadoop3:2181 -list 启动生产者 bin/kafka-console-producer.sh
安装JAVA环境 在每台主机下执行下面步骤: 将安装包移到/usr/local目录下 mv jdk-8u162-linux-x64.tar.gz /usr/local 解压文件 tar -zxvf jdk...-8u162-linux-x64.tar.gz 重命名文件夹为java mv jdk-8u162-linux-x64 java 用vim打开/etc/profile文件(Linux下配置系统环境变量的文件...JAVA_HOME ; # 检验变量值 >java -version; >java; >javac; 如果设置正确的话,java -version 会输出 java 的版本信息,java 和 javac 会输出命令的使用指导...1中执行下面命令 echo “1” > /usr/local/zookeeper/data/myid #kafka-1主机myid 在kafka-2中执行下面命令 echo “2” > /usr/local.../zookeeper/data/myid #kafka-2主机myid 在kafka-3中执行下面命令 echo “3” > /usr/local/zookeeper/data/myid #kafka-
领取专属 10元无门槛券
手把手带您无忧上云