Kafka详细教程:下载、安装、配置与集群部署

1、下载

[root@node1 ~]# wget http://mirror.bit.edu.cn/apache/kafka/0.11.0.1/kafka_2.11-0.11.0.1.tgz
--2017-10-28 09:16:07--  http://mirror.bit.edu.cn/apache/kafka/0.11.0.1/kafka_2.11-0.11.0.1.tgz
Resolving mirror.bit.edu.cn (mirror.bit.edu.cn)... 202.204.80.77, 2001:da8:204:2001:250:56ff:fea1:22
Connecting to mirror.bit.edu.cn (mirror.bit.edu.cn)|202.204.80.77|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 42031343 (40M) [application/octet-stream]
Saving to: ‘kafka_2.11-0.11.0.1.tgz’

100%[==============================================================================================>] 42,031,343  1.11MB/s   in 33s    

2017-10-28 09:16:40 (1.22 MB/s) - ‘kafka_2.11-0.11.0.1.tgz’ saved [42031343/42031343]

[root@node1 ~]# 

2、安装

(1)解压缩

[root@node1 ~]# tar -zxvf kafka_2.11-0.11.0.1.tgz -C /opt

(2)进入根目录

[root@node1 ~]# cd /opt/kafka_2.11-0.11.0.1
[root@node1 kafka_2.11-0.11.0.1]# ls
bin  config  libs  LICENSE  NOTICE  site-docs
[root@node1 kafka_2.11-0.11.0.1]# 

Kafka目录介绍 - /bin 操作kafka的可执行脚本,还包含windows下脚本 - /config 配置文件所在目录 - /libs 依赖库目录 - /logs 日志数据目录,目录kafka把server端日志分为5种类型,分为:server,request,state,log-cleaner,controller

3、配置

(1)统一修改配置文件

[root@node1 kafka_2.11-0.11.0.1]# vi config/server.properties
  • brokerID唯一标示,集群中不能有重复的ID
# The id of the broker. This must be set to a unique integer for each broker.
broker.id=1
  • 打开监听

listeners=PLAINTEXT://:9092

  • 修改日志目录

log.dirs=/var/log/kafka-logs

  • 修改 zookeeper.connect

zookeeper.connect=node1:2181,node2:2181,node3:2181

4、分发

(1)分发软件包

[root@node1 ~]# scp -r /opt/kafka_2.11-0.11.0.1/ node2:/opt
[root@node1 ~]# scp -r /opt/kafka_2.11-0.11.0.1/ node3:/opt

(2)修改node2 的配置

[root@node2 ~]# vi /opt/kafka_2.11-0.11.0.1/config/server.properties

修改内容

broker.id=2

(3)修改node3 的配置

[root@node3 ~]# vi /opt/kafka_2.11-0.11.0.1/config/server.properties

修改内容

broker.id=3

5、启动kafka

(1)先将zookeeper集群启动 (2)再启动kafka 启动node1

[root@node1 kafka_2.11-0.11.0.1]# bin/kafka-server-start.sh config/server.properties &
[1] 2576
[root@node1 kafka_2.11-0.11.0.1]# 

启动node2

[root@node2 kafka_2.11-0.11.0.1]# bin/kafka-server-start.sh config/server.properties &
[1] 2526
[root@node2 kafka_2.11-0.11.0.1]# 

启动node3

[root@node3 kafka_2.11-0.11.0.1]# bin/kafka-server-start.sh config/server.properties &
[1] 7650
[root@node3 kafka_2.11-0.11.0.1]# 

(3)查看进程

[root@node1 kafka_2.11-0.11.0.1]# jps
2576 Kafka
2551 QuorumPeerMain
2874 Jps
[root@node1 kafka_2.11-0.11.0.1]# 
[root@node2 kafka_2.11-0.11.0.1]# jps
2499 QuorumPeerMain
2821 Jps
2526 Kafka
[root@node2 kafka_2.11-0.11.0.1]# 
[root@node3 kafka_2.11-0.11.0.1]# jps
7617 QuorumPeerMain
7650 Kafka
7945 Jps
[root@node3 kafka_2.11-0.11.0.1]# 

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Albert陈凯

CentOS6.8_Spark单机部署

首先需要JDK 下载安装JDK 下载spark wget https://d3kbcqa49mib13.cloudfront.net/spark-1.6.3-b...

3036
来自专栏CSDN技术头条

编译器LLVM3.8发布

LLVM编译器发布3.8版本了,主要是对以前版本各项性能的优化,以及对之前版本的升级。最新的发布日志可以查看这里。 这次发布的主要变化有: 这次版本要求...

1787
来自专栏游戏杂谈

XCode的The argument is invalid

google查了一下,没找到解决的方法。有一篇blog应该有写怎么解决,可惜是wordpress.com的站点,打不开,网页快照也看不了…

872
来自专栏云计算教程系列

如何在Debian 7上安装MySQL和phpMyAdmin

phpMyAdmin是一个Web应用程序,它提供了一个GUI来帮助MySQL数据库管理。它支持多个MySQL服务器。

1663
来自专栏Ceph对象存储方案

不重启修复磁盘乱序

2213
来自专栏耕耘实录

浅谈Linux下傻瓜式磁盘分区工具cfdisk的使用

版权声明:本文为耕耘实录原创文章,各大自媒体平台同步更新。欢迎转载,转载请注明出处,谢谢

972
来自专栏我是攻城师

理解Vmware虚拟机的网络模式

命名方式VMnet0,VMnet1,VMnet......以此类推,默认情况下在vm里面已经有一些映射如下:

44210
来自专栏张善友的专栏

解决VMware 7在Windows 7上无法上网的问题

Windows 7上的VPC不能安装64位的操作系统和Linux等,就安装了个VMware 7来解决我的这个问题,另一个问题出来了虚拟机里头的系统无法上网,通过...

2066
来自专栏Youngxj

[教程]让你电脑右下角显示你女票名字

1251
来自专栏landv

ubuntu16.04 禁用Guest用户

1303

扫码关注云+社区