kafka的安装与配置

Java廖志伟

发布于 2022-09-29 09:58:17

1.8K0

发布于 2022-09-29 09:58:17

文章被收录于专栏：高级开发进阶

我是廖志伟，一名Java开发工程师、幕后大佬社区创始人、Java领域优质创作者、CSDN博客专家。拥有多年一线研发经验，研究过各种常见框架及中间件的底层源码，对于大型分布式、微服务、三高架构（高性能、高并发、高可用）有过实践架构经验。

博主：java_wxid

社区：幕后大佬 <hr style=" border:solid; width:100px; height:1px;" color=#000000 size=1">

@TOC 本文的大概内容：

一、安装JDK

yum install java-1.8.0-openjdk* -y

二、安装Zookeeper

进入到/home目录下，下载zookeeper

wget https://archive.apache.org/dist/zookeeper/zookeeper-3.5.8/apache-zookeeper-3.5.8-bin.tar.gz
tar -zxvf apache-zookeeper-3.5.8-bin.tar.gz
cd apache-zookeeper-3.5.8-bin/
cp conf/zoo_sample.cfg conf/zoo.cfg
cd /home/apache-zookeeper-3.5.8-bin/bin
./zkServer.sh start
./zkCli.sh
ls /

打印结果：

[zk: localhost:2181(CONNECTED) 5] ls /
[admin, brokers, cluster, config, consumers, controller, controller_epoch, isr_change_notification, kafka, latest_producer_id_block, log_dir_event_notification, zookeeper]
[zk: localhost:2181(CONNECTED) 6]

三、安装Kafka

进入到/home目录下，下载kafka

wget https://archive.apache.org/dist/kafka/2.4.1/kafka_2.11-2.4.1.tgz
tar -xzf kafka_2.11-2.4.1.tgz
cd /home/kafka_2.11-2.4.1/config
vim config/server.properties

配置文件编辑

#broker.id属性在kafka集群中必须要是唯一
broker.id=0
#kafka部署的机器ip和提供服务的端口号
listeners=PLAINTEXT://内网ip:9092   
#kafka的消息存储文件
log.dir=/usr/local/data/kafka-logs
#kafka连接zookeeper的地址
zookeeper.connect=内网ip:2181

如果填写外网ip可能会遇上这种情况：

四、启动并验证kafka

启动kafka

/home/kafka_2.11-2.4.1/bin/kafka-server-start.sh config/server.properties &amp;

进入zookeeper目录通过zookeeper客户端查看下zookeeper的目录树

/home/apache-zookeeper-3.5.8-bin/bin/zkCli.sh
ls /
ls /brokers/ids

校验kafka

创建主题

/home/kafka_2.11-2.4.1/bin/kafka-topics.sh --create --zookeeper 106.14.132.94:2181 --replication-factor 1 --partitions 1 --topic test

查看kafka中目前存在的topic

/home/kafka_2.11-2.4.1/bin/kafka-topics.sh --list --zookeeper 106.14.132.94:2181

发送消息

/home/kafka_2.11-2.4.1/bin/kafka-console-producer.sh --broker-list 106.14.132.94:9092 --topic test

this is a msg

消费消息

/home/kafka_2.11-2.4.1/bin/kafka-console-consumer.sh --bootstrap-server 106.14.132.94:9092--topic test

消费之前的消息

/home/kafka_2.11-2.4.1/bin/kafka-console-consumer.sh --bootstrap-server 106.14.132.94:9092 --from-beginning --topic test

通过jps命令查看运行的情况

总结

以上就是今天要讲的内容，还希望各位读者大大能够在评论区积极参与讨论，给文章提出一些宝贵的意见或者建议，合理的内容，我会采纳更新博文，重新分享给大家。

一键三连

感谢大家的支持，用心写博文分享给大家，你的支持（点赞、收藏、关注）是对我创作的最大帮助。微信公众号：南北踏尘 主页地址：java_wxid 社区地址：幕后大佬

给读者大大的话

我本身是一个很普通的程序员，放在人堆里，除了与生俱来的盛世美颜、所剩不多的发量，就剩下180的大高个了。就是我这样的一个人，默默坚持写博文也有好多年了，有句老话说的好，牛逼之前都是傻逼式的坚持。希望自己可以通过大量的作品，时间的积累，个人魅力、运气和时机，可以打造属于自己的技术影响力。同时也希望自己可以成为一个懂技术，懂业务，懂管理的综合型人才，作为项目架构路线的总设计师，掌控全局的团队大脑，技术团队中的绝对核心是我未来几年不断前进的目标。

提示：以下都是资源分享，求个一键三连。

博客封面

首先我要说声抱歉，作为一个学习的平台，封面引人注目是营销策略，大家不用太过在意哈，专注博客内容本身即可。当然有同学惦记着我博客的封面，这里也分享出来给大家。点击：博客封面提取码：2021

面试资料

福利大放送，我就求个一键三连，拜托了，这对我真的很重要。点击：面试资料提取码：2021

200套PPT模板

福利大放送，我就求个一键三连，拜托了，这对我真的很重要。点击：200套PPT模板提取码：2021

提问的智慧

福利大放送，我就求个一键三连，拜托了，这对我真的很重要。点击：提问的智慧提取码：2021

Java开发学习路线

名称	链接
JavaSE	点击： JavaSE
MySQL专栏	点击： MySQL专栏
JDBC专栏	点击： JDBC专栏
MyBatis专栏	点击： MyBatis专栏
Web专栏	点击： Web专栏
Spring专栏	点击： Spring专栏
SpringMVC专栏	点击： SpringMVC专栏
SpringBoot专栏	点击： SpringBoot专栏
SpringCould专栏	点击： SpringCould专栏
Redis专栏	点击： Redis专栏
Linux专栏	点击： Linux专栏
Maven3专栏	点击： Maven3专栏
Spring Security5专栏	点击： Spring Security5专栏
更多专栏	更多专栏，请到 java_wxid主页查看