zookeeper与kafka集群搭建与测试

本文介绍的zookeeper版本是 zookeeper-3.4.8,kafka版本是 kafka_2.12-1.0.0
准备好三台机器 192.168.1.1、192.168.1.2、192.168.1.3

JDK搭建

从官网下载jdk,假设解压在 /usr/local/java/jdk1.8.0_60目录下,编辑 /etc/profile 文件,设置如下环境变量

JAVA_HOME=/usr/java/jdk1.8.0_60
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=$JAVA_HOME/jre/lib/ext:$JAVA_HOME/lib/tools.jar
export PATH JAVA_HOME CLASSPATH

如果运行 source /etc/profile && java -version 后显示java版本,那么表明jdk环境已经安装好。

zookeeper搭建

从官网下载zookeeper-3.4.8版本,解压到/usr/local/zookeeper-3.4.8/ 目录下,在 /usr/local/zookeeper-3.4.8/
目录下创建 data目录、log目录

mkdir -p /usr/local/zookeeper-3.4.8/data
mkdir -p /usr/local/zookeeper-3.4.8/log

创建 conf/zoo.cfg配置文件

maxClientCnxns=60
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/usr/local/zookeeper-3.4.8/data
dataLogDir=/usr/local/zookeeper-3.4.8/data
clientPort=2181
server.1=192.168.1.1:2888:3888
server.2=192.168.1.2:2888:3888
server.3=192.168.1.3:2888:3888

修改 conf/log4j.properties配置文件

zookeeper.root.logger=INFO,ROLLINGFILE
zookeeper.log.dir=./log


在192.168.1.1、192.168.1.2、192.168.1.3机器上依次执行
echo 1 > /usr/local/zookeeper-3.4.8/data/myid
echo 2 > /usr/local/zookeeper-3.4.8/data/myid
echo 3 > /usr/local/zookeeper-3.4.8/data/myid

启动 zookeeper
java  -cp "lib/slf4j-log4j12-1.6.1.jar:lib/slf4j-api-1.6.1.jar:lib/netty-3.7.0.Final.jar:lib/log4j-1.2.16.jar:lib/jline-0.9.94.jar:zookeeper-3.4.8.jar:conf/"  org.apache.zookeeper.server.quorum.QuorumPeerMain conf/zoo.cfg &

查看zookeeper运行状态
echo srvr | nc localhost 2181

kafka环境搭建

从官网下载 kafka_2.12-1.0.0 软件包,解压在 /usr/local/kafka_2.12-1.0.0 目录下
修改 config/server.properties配置文件,需要要注意的是 borker.id字段在三台机器中均不同

broker.id=0
port=19092
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/tmp/kafka-logs
num.partitions=1
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=192.168.1.1:2181,192.168.1.2:2181,192.168.1.3:2181
zookeeper.connection.timeout.ms=6000

进入kafka的bin目录,执行如下命令启动kafka
./kafka-server-start.sh  -daemon ../config/server.properties

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

分布式框架学习

1 篇文章1 人订阅

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏清风

Linux passwd: 拒绝权限(Permission denied)

1883
来自专栏性能与架构

分布式锁的实现思路

在分布式系统中,如果不同的系统或是同一个系统的不同主机之间共享了一个或一组资源,那么访问这些资源的时候,往往需要互斥来防止彼此干扰,来保证一致性,在这种情况下,...

3746
来自专栏编程

python自动化测试(六)yaml文件管理数据

我们在平常做自动化测试时,不管是搞数据驱动,或者关键字驱动,或者说是数据分离,通过yaml管理数据是一种很好很方便的形式,非常容易去解析,那么具体要怎么使用呢?...

2147
来自专栏JavaEdge

ZooKeeper分布式入门实战(二)-ZooKeeper基本数据模型1 zk数据模型介绍2 zk客户端连接关闭服务端,查看znode3 zookeeper的作用体现

731
来自专栏Laoqi's Linux运维专列

下载安装一个源码包

下载一个安装包除了yum和rpm之外我们还可以下载源码包 编译并安装 首先下载所有的源码包一定要去官网,为了就是防止源码包被第三方编译 例如我们今天安装一个ht...

3199
来自专栏Django Scrapy

Django安装及简单使用1.4

Django安装及简单使用1.4 代码都在github: URL:https://github.com/njxshr/codes/tree/master/t...

2826
来自专栏磨磨谈

掉电后osdmap丢失无法启动osd的解决方案

本篇讲述的是一个比较极端的故障的恢复场景,在整个集群全部服务器突然掉电的时候,osd里面的osdmap可能会出现没刷到磁盘上的情况,这个时候osdmap的最新版...

1173
来自专栏技术博文

redis源码安装

#安装目录 mkdir -p /data/apps/redis cd /data/tgz wget http://download.redis.io/rele...

3425
来自专栏ytkah

dedecms批量导出新增文章url和标题

  百度站长工具推出主动提交功能有一段时间了,可以将新产出链接立即通过此方式推送给百度,以保证新链接可以及时被百度收录。那么dedecms如何批量导出新增文章u...

36912
来自专栏蓝天

Solution: AC_CONFIG_MACRO_DIR conflicts with ACLOCAL_AMFLAGS

.ibtoolize: AC_CONFIG_MACRO_DIR([./aclocal]) conflicts with ACLOCAL_AMFLAGS=-I ...

861

扫码关注云+社区

领取腾讯云代金券