Kafka单节点与伪分布式集群搭建


环境准备


一、Kafka单节点安装部署

1. kafka安装包上传到服务器并解压

[hadoop@hadoop04 ~]tar -zxvf /opt/soft/kafka_2.11-0.10.2.1.tgz -C /opt/apps/

2. 进入kafka的config目录下,修改server.properties文件

[hadoop@hadoop01 ~]$ cd /opt/apps/kafka_2.11-0.10.2.1/config/
[hadoop@hadoop01 config]$ vim server.properties

# 以下3个配置是需要修改的,其余保持默认即可
broker.id=11
log.dirs=/opt/data/kafka/broker11
zookeeper.connect=hadoop01:2181,hadoop02:2181,hadoop03:2181

说明:

  • 只修改列出的3个配置即可,其余保持默认
  • broker.id在每个节点上是唯一的,在分布式集群中,有几个机器中安装了Kafka,那么那几个机器中的Kafka的broker.id一定是不同的,在伪分布式集群中,每个server.properties配置文件中的broker.id都是不同的
  • log.dirs指定的kafka中的数据的存放位置,默认的tmp目录会定期清空,所以需要修改,而且指定的目录需要在启动kafka集群之前创建好
  • zookeeper.connect如果不指定,将使用kafka自带的zookeeper

3. 创建log.dirs指定的目录

[hadoop@hadoop04 config]$ mkdir -p /opt/data/kafka

4. 启动zookeeper集群

[hadoop@hadoop01 ~]$ zkServer.sh start
[hadoop@hadoop02 ~]$ zkServer.sh start
[hadoop@hadoop03 ~]$ zkServer.sh start

5. 启动kafka

[hadoop@hadoop04 kafka_2.11-0.10.2.1]$ bin/kafka-server-start.sh -daemon config/server.properties

# -daemon选项的意思是后台启动服务

7. 验证kafka服务是否启动

[hadoop@hadoop04 kafka_2.11-0.10.2.1]$ jps
2340 Jps
2286 Kafka

8. 查看zookeeper中的节点信息

[hadoop@hadoop01 ~]$ zkCli.sh
[zk: localhost:2181(CONNECTED) 2] ls /brokers/ids
[11]

Kafka 单节点搭建成功!

二、Kafka伪分布式安装部署

所谓Kafka伪分布式,就是一个节点启动多个Kafka服务,只需要新增加server.properties配置文件,并按照新的配置文件再启动一个服务即可,当然数量可以看自己心情,我这里就再启动一个kafka服务

1. 在config目录下新增加一个server-2.properties文件

[hadoop@hadoop04 config]$ cp server.properties server-2.properties 
[hadoop@hadoop04 config]$ vim server-2.properties

broker.id=12
port=9093
log.dirs=/opt/data/kafka/broker12

说明:

  • broker.id一定要修改
  • 新增了port这个配置,指定服务启动占用的端口,上一个配置文件中没有配置,因为默认使用9092端口,上一个服务启动后,9092端口就被占用了,所以这里配置一个新的端口
  • log.dirs也需要修改,每个broker应该存放自己的数据,所以需要在配置一下broker12的数据存放路径,启动服务之前先创建好这个目录
  • 其余配置和server.properties相同即可

2. 再启动一个Kafka服务

[hadoop@hadoop04 kafka_2.11-0.10.2.1]$ bin/kafka-server-start.sh -daemon config/server-2.properties

注意:启动Kafka集群之前一定要先启动zookeeper集群,我上面已经启动了zookeeper集群,所以这里没有再启

3. 验证kafka服务是否启动

[hadoop@hadoop04 kafka_2.11-0.10.2.1]$ jps
22485 Jps
22461 Kafka
2286 Kafka
1982 QuorumPeerMain

可以看到,启动了两个Kafka服务

4. 查看zookeeper中的节点信息

[zk: localhost:2181(CONNECTED) 3] ls /brokers/ids
[11, 12]

Kafka伪分布式集群搭建成功!

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏醉码

cetnos 7.4 kafa本地环境搭建

38960
来自专栏玩转JavaEE

Linux上安装MongoDB

MongoDB在Windows上的安装过程整体上来说并不难,网上的资料也比较多,这里我就不介绍了,我主要说下如何在Linux环境下安装MongoDB。 ----...

82650
来自专栏smy

windows下操作linux虚拟机映射网络驱动器中文件提示chmod权限不足解决方案

为了方便操作,linux虚拟机会通过windows下连接网络驱动器的方式共享自己的文件,对于前端来说,我想把gulp放在windows磁盘,操作虚拟机中的php...

23130
来自专栏DeveWork

WordPress重定向作者归档链接到“关于”页面

默认的情况下,当有人点击你文章的作者名称的时候,会转到一个如 http://域名/author/名称 的 url 链接。如果对于一个多作者站点来说,这个功能非常...

24150
来自专栏Python

linux每日命令(5):mkdir命令

linux mkdir 命令用来创建指定的名称的目录,要求创建目录的用户在当前目录中具有写权限,并且指定的目录名不能是当前目录中已有的目录。

15020
来自专栏LanceToBigData

MySQL(二)之服务管理与配置文件修改和连接MySQL

上一篇给大家介绍了怎么在linux和windows中安装mysql,本来是可以放在首页的,但是博客园说“安装配置类文件”不让放在首页。接下来给大家介绍一下在li...

26980
来自专栏惨绿少年

OpenSUSE 服务器系统部署

1、准备 1.1 下载系统 下载地址:https://software.opensuse.org/distributions/leap     目前的最新版本为...

46770
来自专栏挖坑填坑

Asp.net+Vue2构建简单记账WebApp之三(使用Vue-cli构建vue.js应用)

16930
来自专栏云计算教程系列

如何在Ubuntu上安装ionCube

ionCube是一个PHP模块扩展,可加载加密的PHP文件并加速网页。ionCube Encoder可以把PHP源代码转换成ByteCode。进行加密授权处理后...

18500
来自专栏醉生梦死

tar命令之--exclude参数 排除指定的文件或目录

38310

扫码关注云+社区

领取腾讯云代金券