Kafka详细教程:下载、安装、配置与集群部署

1、下载

[root@node1 ~]# wget http://mirror.bit.edu.cn/apache/kafka/0.11.0.1/kafka_2.11-0.11.0.1.tgz
--2017-10-28 09:16:07--  http://mirror.bit.edu.cn/apache/kafka/0.11.0.1/kafka_2.11-0.11.0.1.tgz
Resolving mirror.bit.edu.cn (mirror.bit.edu.cn)... 202.204.80.77, 2001:da8:204:2001:250:56ff:fea1:22
Connecting to mirror.bit.edu.cn (mirror.bit.edu.cn)|202.204.80.77|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 42031343 (40M) [application/octet-stream]
Saving to: ‘kafka_2.11-0.11.0.1.tgz’

100%[==============================================================================================>] 42,031,343  1.11MB/s   in 33s    

2017-10-28 09:16:40 (1.22 MB/s) - ‘kafka_2.11-0.11.0.1.tgz’ saved [42031343/42031343]

[root@node1 ~]# 

2、安装

(1)解压缩

[root@node1 ~]# tar -zxvf kafka_2.11-0.11.0.1.tgz -C /opt

(2)进入根目录

[root@node1 ~]# cd /opt/kafka_2.11-0.11.0.1
[root@node1 kafka_2.11-0.11.0.1]# ls
bin  config  libs  LICENSE  NOTICE  site-docs
[root@node1 kafka_2.11-0.11.0.1]# 

Kafka目录介绍 - /bin 操作kafka的可执行脚本,还包含windows下脚本 - /config 配置文件所在目录 - /libs 依赖库目录 - /logs 日志数据目录,目录kafka把server端日志分为5种类型,分为:server,request,state,log-cleaner,controller

3、配置

(1)统一修改配置文件

[root@node1 kafka_2.11-0.11.0.1]# vi config/server.properties
  • brokerID唯一标示,集群中不能有重复的ID
# The id of the broker. This must be set to a unique integer for each broker.
broker.id=1
  • 打开监听

listeners=PLAINTEXT://:9092

  • 修改日志目录

log.dirs=/var/log/kafka-logs

  • 修改 zookeeper.connect

zookeeper.connect=node1:2181,node2:2181,node3:2181

4、分发

(1)分发软件包

[root@node1 ~]# scp -r /opt/kafka_2.11-0.11.0.1/ node2:/opt
[root@node1 ~]# scp -r /opt/kafka_2.11-0.11.0.1/ node3:/opt

(2)修改node2 的配置

[root@node2 ~]# vi /opt/kafka_2.11-0.11.0.1/config/server.properties

修改内容

broker.id=2

(3)修改node3 的配置

[root@node3 ~]# vi /opt/kafka_2.11-0.11.0.1/config/server.properties

修改内容

broker.id=3

5、启动kafka

(1)先将zookeeper集群启动 (2)再启动kafka 启动node1

[root@node1 kafka_2.11-0.11.0.1]# bin/kafka-server-start.sh config/server.properties &
[1] 2576
[root@node1 kafka_2.11-0.11.0.1]# 

启动node2

[root@node2 kafka_2.11-0.11.0.1]# bin/kafka-server-start.sh config/server.properties &
[1] 2526
[root@node2 kafka_2.11-0.11.0.1]# 

启动node3

[root@node3 kafka_2.11-0.11.0.1]# bin/kafka-server-start.sh config/server.properties &
[1] 7650
[root@node3 kafka_2.11-0.11.0.1]# 

(3)查看进程

[root@node1 kafka_2.11-0.11.0.1]# jps
2576 Kafka
2551 QuorumPeerMain
2874 Jps
[root@node1 kafka_2.11-0.11.0.1]# 
[root@node2 kafka_2.11-0.11.0.1]# jps
2499 QuorumPeerMain
2821 Jps
2526 Kafka
[root@node2 kafka_2.11-0.11.0.1]# 
[root@node3 kafka_2.11-0.11.0.1]# jps
7617 QuorumPeerMain
7650 Kafka
7945 Jps
[root@node3 kafka_2.11-0.11.0.1]# 

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏上善若水

打开网络adb 调试

963
来自专栏BeJavaGod

权限设计(下) - 细说权限设计

什么是权限管理 一般来说,只要有用户参与的系统,那么都要有权限管理,尤其是一些后台的管理系统, 权限管理可以实现对用户访问系统的控制,按照安全规则或者相关策略的...

4436
来自专栏技术小讲堂

ASP.NET SignalR 2.0入门指南介绍SignalRSignalR和WebSocket传输和回滚HTML5 传输协议Comet transports传输协议选择过程监测传输指定传输协议连接

介绍SignalR ASP.NET SignalR 是一个为 ASP.NET 开发人员的库,简化了将实时 web 功能添加到应用程序的过程。实时Web功能使服务...

3836
来自专栏从零学习云计算

openshift/origin工作记录(5)——node节点系统资源预留

解决思路为设置node节点系统资源预留值。

24510
来自专栏运维小白

7.6 yum更换国内源

更换yum国内源 cd /etc/yum.repos.d/ rm -f dvd.repo wget http://mirrors.163.com/.help/C...

3126
来自专栏源码之家

Linux VPS自动备份:RSYNC增量备份

1143
来自专栏左瞅瞅,右瞅瞅

SaltStack——配置管理(haproxy)

1.balance roundrobin # 轮询,软负载均衡基本都具备这种算法 2.balance static-rr # 根据权重,建议使用 3.ba...

1573
来自专栏运维前线

Xen 虚拟机重命名

xen虚拟机配置文件目录 /etc/libvirt/libxl xen rename guest [root@xen-1 libxl]# virsh list ...

2125
来自专栏李智的专栏

Windows下git安装使用教程

git status 此命令可以让我们时刻掌握仓库当前的状态,上面的命令告诉我们,readme.txt被修改过了,但还没有准备提交的修改。

701
来自专栏惨绿少年

重定向、别名、绝对路径、相对路径 详解

第1章 Linux命令基础 1.1 习惯 操作前备份,操作后检查 1.2 简单目录结构 一切从根开始,与windows不同 1.3 规则 [root@znix ...

1950

扫码关注云+社区