前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Kafka单节点与伪分布式集群搭建

Kafka单节点与伪分布式集群搭建

作者头像
CoderJed
发布2018-09-13 10:38:34
2.2K0
发布2018-09-13 10:38:34
举报
文章被收录于专栏:Jed的技术阶梯

环境准备


一、Kafka单节点安装部署

1. kafka安装包上传到服务器并解压

代码语言:javascript
复制
[hadoop@hadoop04 ~]tar -zxvf /opt/soft/kafka_2.11-0.10.2.1.tgz -C /opt/apps/

2. 进入kafka的config目录下,修改server.properties文件

代码语言:javascript
复制
[hadoop@hadoop01 ~]$ cd /opt/apps/kafka_2.11-0.10.2.1/config/
[hadoop@hadoop01 config]$ vim server.properties

# 以下3个配置是需要修改的,其余保持默认即可
broker.id=11
log.dirs=/opt/data/kafka/broker11
zookeeper.connect=hadoop01:2181,hadoop02:2181,hadoop03:2181

说明:

  • 只修改列出的3个配置即可,其余保持默认
  • broker.id在每个节点上是唯一的,在分布式集群中,有几个机器中安装了Kafka,那么那几个机器中的Kafka的broker.id一定是不同的,在伪分布式集群中,每个server.properties配置文件中的broker.id都是不同的
  • log.dirs指定的kafka中的数据的存放位置,默认的tmp目录会定期清空,所以需要修改,而且指定的目录需要在启动kafka集群之前创建好
  • zookeeper.connect如果不指定,将使用kafka自带的zookeeper

3. 创建log.dirs指定的目录

代码语言:javascript
复制
[hadoop@hadoop04 config]$ mkdir -p /opt/data/kafka

4. 启动zookeeper集群

代码语言:javascript
复制
[hadoop@hadoop01 ~]$ zkServer.sh start
[hadoop@hadoop02 ~]$ zkServer.sh start
[hadoop@hadoop03 ~]$ zkServer.sh start

5. 启动kafka

代码语言:javascript
复制
[hadoop@hadoop04 kafka_2.11-0.10.2.1]$ bin/kafka-server-start.sh -daemon config/server.properties

# -daemon选项的意思是后台启动服务

7. 验证kafka服务是否启动

代码语言:javascript
复制
[hadoop@hadoop04 kafka_2.11-0.10.2.1]$ jps
2340 Jps
2286 Kafka

8. 查看zookeeper中的节点信息

代码语言:javascript
复制
[hadoop@hadoop01 ~]$ zkCli.sh
[zk: localhost:2181(CONNECTED) 2] ls /brokers/ids
[11]

Kafka 单节点搭建成功!

二、Kafka伪分布式安装部署

所谓Kafka伪分布式,就是一个节点启动多个Kafka服务,只需要新增加server.properties配置文件,并按照新的配置文件再启动一个服务即可,当然数量可以看自己心情,我这里就再启动一个kafka服务

1. 在config目录下新增加一个server-2.properties文件

代码语言:javascript
复制
[hadoop@hadoop04 config]$ cp server.properties server-2.properties 
[hadoop@hadoop04 config]$ vim server-2.properties

broker.id=12
port=9093
log.dirs=/opt/data/kafka/broker12

说明:

  • broker.id一定要修改
  • 新增了port这个配置,指定服务启动占用的端口,上一个配置文件中没有配置,因为默认使用9092端口,上一个服务启动后,9092端口就被占用了,所以这里配置一个新的端口
  • log.dirs也需要修改,每个broker应该存放自己的数据,所以需要在配置一下broker12的数据存放路径,启动服务之前先创建好这个目录
  • 其余配置和server.properties相同即可

2. 再启动一个Kafka服务

代码语言:javascript
复制
[hadoop@hadoop04 kafka_2.11-0.10.2.1]$ bin/kafka-server-start.sh -daemon config/server-2.properties

注意:启动Kafka集群之前一定要先启动zookeeper集群,我上面已经启动了zookeeper集群,所以这里没有再启

3. 验证kafka服务是否启动

代码语言:javascript
复制
[hadoop@hadoop04 kafka_2.11-0.10.2.1]$ jps
22485 Jps
22461 Kafka
2286 Kafka
1982 QuorumPeerMain

可以看到,启动了两个Kafka服务

4. 查看zookeeper中的节点信息

代码语言:javascript
复制
[zk: localhost:2181(CONNECTED) 3] ls /brokers/ids
[11, 12]

Kafka伪分布式集群搭建成功!

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2018.04.12 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 一、Kafka单节点安装部署
    • 1. kafka安装包上传到服务器并解压
      • 2. 进入kafka的config目录下,修改server.properties文件
        • 3. 创建log.dirs指定的目录
          • 4. 启动zookeeper集群
            • 5. 启动kafka
              • 7. 验证kafka服务是否启动
                • 8. 查看zookeeper中的节点信息
                • 二、Kafka伪分布式安装部署
                  • 1. 在config目录下新增加一个server-2.properties文件
                    • 2. 再启动一个Kafka服务
                      • 3. 验证kafka服务是否启动
                        • 4. 查看zookeeper中的节点信息
                        领券
                        问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档