zookeeper-3.4.10的安装配置

介绍zookeeper-3.4.10的安装配置

1. 环境准备

2.角色说明

  • hadoop01:leader或follower
  • hadoop02:leader或follower
  • hadoop03:leader或follower
  • hadoop04:observer

leader:能接收所有的读写请求,也可以处理所有的读写请求,而且整个集群中的所有写数据请求都是由leader进行处理 follower:能接收所有的读写请求,但是读数据请求自己处理,写数据请求转发给leader observer:跟follower的唯一的区别就是没有选举权和被选举权 因为hadoop01、hadoop02和hadoop03具有选举权,所以它们的角色是变化的,当leader宕机,会重新选举leader,而hadoop04的角色是observer,所以它没有选举和被选举权,只负责处理请求 要求:整个zookeeper集群中可以参与选举的节点的个数为奇数个,因为zookeeper的选举机制为半数机制,即超过一半的节点投票给某个节点,该节点就是新的leader

3. 步骤

(1) 上传到服务器并解压

tar -zxvf zookeeper-3.4.10.tar.gz

(2) 配置环境变量,加入ZOOKEEPER_HOME

vim ~/.bash_profile

# 加入内容
export ZOOKEEPER_HOME=/home/hadoop/apps/zookeeper-3.4.10
export PATH=$PATH:$ZOOKEEPER_HOME/bin

# 别忘了source
source ~/.bash_profile

(3) 配置zoo.cfg文件

  • 进入ZOOKEEPER_HOME/conf目录
  • 复制zoo_sample.cfg文件为zoo.cfg:cp zoo_sample.cfg zoo.cfg
  • 编辑zoo.cfg文件,如下
vim zoo.cfg

# 集群各节点的心跳时间间隔,保持默认即可(2s)
tickTime=2000

# 此配置表示,允许follower连接并同步到leader的初始化连接时间
# 它以tickTime的倍数来表示
# 当超过设置倍数的tickTime时间,则连接失败
# 保持默认即可(10次心跳的时间,即20s)
initLimit=10

# follower与leader通信,从发送请求到接收到响应的等待时间的最大值,保持默认即可,即10s
# 如果10s内没有收到响应,本次请求就失败
syncLimit=5

# zookeeper的数据存放的位置,默认是/tmp/zookeeper,一定要改,因为tmp目录会不定时清空
dataDir=/home/hadoop/zkdata

# 客户端连接的端口号,保持默认即可
clientPort=2181

# 以下内容手动添加
# server.id=主机名:心跳端口:选举端口
# 注意:这里给每个节点定义了id,这些id写到配置文件中
# id为1-255之间的任意的不重复的数字,一定要记得每个节点的id的对应关系
server.1=hadoop01:2888:3888
server.2=hadoop02:2888:3888
server.3=hadoop03:2888:3888
server.4=hadoop04:2888:3888:observer

(4)同步配置

我是在hadoop01节点中进行解压配置的,所以分发给其他3个节点

scp -r /home/hadoop/apps/zookeeper-3.4.10 hadoop02:/home/hadoop/apps/
scp -r /home/hadoop/apps/zookeeper-3.4.10 hadoop03:/home/hadoop/apps/
scp -r /home/hadoop/apps/zookeeper-3.4.10 hadoop04:/home/hadoop/apps/

给其他节点配置ZOOKEEPER_HOME环境变量

(4)在配置的dataDir目录下新建myid文件,并写入id

我配置的dataDir=/home/hadoop/zkdata,所以:

mkdir -p /home/hadoop/zkdata
cd /home/hadoop/zkdata
# echo 命令会先创建文件再写入
echo 1 > myid

注意:我配置的集群id信息为: server.1=hadoop01:2888:3888 server.2=hadoop02:2888:3888 server.3=hadoop03:2888:3888 server.4=hadoop04:2888:3888:observer 那么,在hadoop01的dataDir下的myid文件中的id就是1,hadoop02的dataDir下的myid文件中的id就是2,以此类推,一定要与配置文件中的配置相对应!

(5) 启动集群并验证

启动集群(每个节点都要启动)

zkServer.sh start

查看每个节点的状态

zkServer.sh status

hadoop01、hadoop02、hadoop03的角色一定是leader或者follower,hadoop04一定是observer

zookeeper集群安装配置成功

至此,zookeeper集群安装配置成功!

(6)说明

给节点配置的id为1-255之间的一个数字,那么当zookeeper集群的数量超过255怎么办? 答:zookeeper集群的性能会随着节点数的增多达到峰值,再增加节点数量,性能会急剧下降,通常来说,超过20多台节点后性能就会下降,所以,即使可以一直给节点编号,也不建议在zookeeper集群中配置太多的节点。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏电光石火

如何让nginx显示文件夹目录

1. 如何让nginx显示文件夹目录 vi /etc/nginx/conf.d/default.conf 添加如下内容: location / ...

215100
来自专栏刺客博客

Linux下使用mysqldump进行数据库备份恢复

mysqldump -uroot -proot  --databases data >1.sql

1.2K20
来自专栏性能与架构

使用 cURL 测量网站响应时间

内容整理自:https://blog.cloudflare.com/a-question-of-timing/,其中还有 chrome 的测量方式,有兴趣的朋友...

20720
来自专栏屈定‘s Blog

网站升级HTTPS与HTTP2记录

最近看到两篇文章对于HTTPS与HTTP2两者讲解的很详细,分享并实践一下,正好近期捣鼓了一个个人站点https://mrdear.cn/,可以用来实验. 文章...

65940
来自专栏linux运维学习

linux学习第四十八篇:php-fpm的pool,php-fpm慢执行日志,定义open_basedir,php-fpm进程管理

php-fpm的pool Nginx可以配置多个虚拟主机,php-fpm同样也支持配置多个pool,每一个pool可以监听一个端口,也可以监听一个socket...

21250
来自专栏小白安全

巧用netsh命令实现端口转发(端口映射)

巧用netsh命令实现端口转发(端口映射)  好处:即时生效,随意修改删除,不影响其他ip映射  记事本保存为bat格式批量添加后,并查看映射:  nets...

53860
来自专栏云计算教程系列

如何在Ubuntu上找到Redis日志

日志对于Redis安装的故障排除至关重要。你可能会问自己“我的Redis在哪里登录?” 或者“Redis在Ubuntu 14.04上存储日志文件的位置是什么?”

1.2K30
来自专栏Java帮帮-微信公众号-技术文章全总结

Hadoop,zookeeper,HBase,Spack集群环境搭建【面试+工作】

Hadoop,zookeeper,HBase,Spark集群环境搭建【面试+工作】

25820
来自专栏Linyb极客之路

单点登录原理与简单实现

  web应用采用browser/server架构,http作为通信协议。http是无状态协议,浏览器的每一次请求,服务器会独立处理,不与之前或之后的请求产生关...

14120
来自专栏大数据架构师专家

apache与tomcat整合

Apache只是一个Web服务器,可以作为独立的web服务器来运行,不过只支持静态网页,如(asp,php,cgi,jsp)等动态网页的就显得无能为力。

18130

扫码关注云+社区

领取腾讯云代金券