前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Kafka 单机部署

Kafka 单机部署

作者头像
Freedom123
发布2024-03-29 09:04:25
750
发布2024-03-29 09:04:25
举报
文章被收录于专栏:DevOpsDevOps

Kafka 单机部署区分集成Zookeeper 部署和Zookeeper + Kafka 部署俩总方式,如果是单机部署Kafka,集成Zookeeper 最简单,也可以选择Zookeeper + Kafka 这种模式,但是如果为Kafka集群的话,则必须需要部署 Zookeeper 集群。

一. 获取解压     1. 下载        

代码语言:javascript
复制
wget http://mirror.bit.edu.cn/apache/kafka/1.1.0/kafka_2.12-1.1.0.tgz

    2. 解压kafka        

代码语言:javascript
复制
tar -zxvf kafka_2.11-0.10.1.1.tgz

二. 配置修改     1. 集成Zookeeper 配置修改方式         1.0 配置profile           

代码语言:javascript
复制
vi /etc/profile
    export KAFKA_HOME=/home/.../kafka_2.11-0.10.1.1
    export PATH=$PATH:$KAFKA_HOME/bin
            
source /etc/profile    #配置生效

        1.1 配置zookeeper.properties

代码语言:javascript
复制
vi conf/zookeeper.properties
       dataDir=****        #根据自己情况设定
       ckuebtPort=2291

      1.2 配置server.properties

代码语言:javascript
复制
vi server.properties
     log.dirs = ***        #根据自己情况设定
     zookeeper.connect=localhost:2291

    2. 外部Zookeeper 配置修改方式         2.0 配置profile

代码语言:javascript
复制
 vi /etc/profile
     export KAFKA_HOME=/home/.../kafka_2.11-0.10.1.1
     export PATH=$PATH:$KAFKA_HOME/bin
 
     source /etc/profile      #配置生效

       2.1 配置server.properties             修改 broker.id = 1 及zookeeper.oonnect 地址,log.dirs 地址

代码语言:javascript
复制
broker.id=1
port=9092
host.name=localhost
# kafka代理地址
listeners=PLAINTEXT://:9092
log.dirs=/home/panfudong/soft/kafka/kafka_2.11-0.10.1.1/kafka-logs
zookeeper.connect=localhost:2181

    到此zookeeper 单机配置成功

三. 启动停止     集成Zookeeper        

代码语言:javascript
复制
bin/zookeeper-server-start.sh config/zookeeper.properties

    外部Zookeeper        

代码语言:javascript
复制
bin/kafka-server-start.sh config/server.properties

        或者         

代码语言:javascript
复制
./kafka-server-start.sh --daemon ../config/server.propertie

    停止:       

代码语言:javascript
复制
 ./bin/kafka-server-stop.sh

四. 操作命令     1. 开启kafka自带zookeeper:         前台运行:        

代码语言:javascript
复制
bin/zookeeper-server-start.sh config/zookeeper.properties

        后台运行:        

代码语言:javascript
复制
nohup bin/zookeeper-server-start.sh config/zookeeper.properties > zookeeper-run.log 2>&1 &

    2. 开启kafka:         前台运行:        

代码语言:javascript
复制
bin/kafka-server-start.sh config/server.properties

        后台运行:        

代码语言:javascript
复制
nohup bin/kafka-server-start.sh config/server.properties > kafka-run.log 2>&1 &

    3. 创建kafka主题:        

代码语言:javascript
复制
bin/kafka-topics.sh --create --zookeeper 10.45.xx.xx:2191 --replication-factor 1 --partitions 1 --topic test

    4. 显示kafka所有主题:       

代码语言:javascript
复制
 bin/kafka-topics.sh -list -zookeeper 10.45.xx.xx:2191

    5. 创建kafka生产者:        

代码语言:javascript
复制
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

    6. 创建kafka消费者:        

代码语言:javascript
复制
bin/kafka-console-consumer.sh --zookeeper 10.45.xx.xx:2191 --topic test --from-beginninghttp://img1.maka.im/user/6626827/images/5a97355615a0e93a6dbcae09a6284de7.png?x-oss-process=image/crop,x_0,y_0,w_0,h_0/auto-orient,1/format,webp

备注:     --zookeeper:后面接的是你配置的zookeeper地址     --broker-list:默认端口为9092.可自行更改

本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2024-03-28,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档