Kafka集群搭建

你好戴先生

发布于 2021-06-10 10:12:37

8630

发布于 2021-06-10 10:12:37

文章被收录于专栏：戴言泛滥

kafka集群需要jdk和zookeeper环境

可参考：

vmware15安装centos7

Zookeeper集群搭建

下载kafka

wget https://mirrors.bfsu.edu.cn/apache/kafka/2.8.0/kafka_2.13-2.8.0.tgz

根据自己的习惯创建一个路径用来存放kafka程序我选择的是/usr/tools/ 然后执行解压命令

tar -zxvf kafka_2.13-2.8.0.tgz

配置kafka

进入到config路径

修改server.properties配置文件

vim /usr/tools/kafka_2.13-2.8.0/config/server.properties

修改配置文件中的broker.id分别为1、2、3

并将三台服务器中的以下配置属性都配制成下边的参数

#数据的存放路径，也可以使用默认的
log.dirs=/usr/tools/kafka_2.13-2.8.0/kafka-logs
#默认topic分区的数量
num.partitions=3
#zookeeper集群的地址和端口，多个地址和端口之间用逗号相连
zookeeper.connect=192.168.5.128:2181,192.168.5.129:2181,192.168.5.130:2181

启动kafka

/usr/tools/kafka_2.13-2.8.0/bin/kafka-server-start.sh /usr/tools/kafka_2.13-2.8.0/config/server.properties

搭建并启动成功

ps：

可以使用nohup命令启动kafka，这样即使关闭窗口也能保证kafka正常运行

nohup /usr/tools/kafka_2.13-2.8.0/bin/kafka-server-start.sh /usr/tools/kafka_2.13-2.8.0/config/server.properties &

创建topic

打开任意一个终端，进入到kafka目录的bin目录，并执行以下命令

./kafka-topics.sh --zookeeper 192.168.5.128:2181,192.168.5.129:2181,192.168.5.130:2181 --create --partitions 3 --replication-factor 3 --topic test
Created topic test

创建topic成功后可以在三台服务器的kafka-logs文件中看到三个以test为开头的文件夹

这就是创建了一个有三个partition的topic，并且有有三个副本

文/戴先生@2021年5月15日

---end---

本文参与腾讯云自媒体同步曝光计划，分享自微信公众号。

原始发表：2021-05-15，如有侵权请联系 cloudcommunity@tencent.com 删除

kafka