前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >(五)ZK集群搭建

(五)ZK集群搭建

作者头像
wolf
发布2020-09-23 12:35:05
7660
发布2020-09-23 12:35:05
举报
文章被收录于专栏:大数据分享大数据分享

分布式集群安装部署

1.集群规划 在hadoop002、hadoop003和hadoop004三个节点上部署Zookeeper。 2.解压安装 (1)解压Zookeeper安装包到/opt/module/目录下 tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/ (2)同步/opt/module/zookeeper-3.4.10目录内容到hadoop003、hadoop004 xsync zookeeper-3.4.10/ 3.配置服务器编号 (1)在/opt/module/zookeeper-3.4.10/这个目录下创建zkData mkdir zkData (2)编辑myid文件 添加myid文件,注意一定要在linux里面创建,在notepad++里面很可能乱码 vi myid 在文件中添加与server对应的编号: 2 (3)拷贝配置好的zookeeper到其他机器上 xsync zkData/ 并分别在hadoop003、hadoop004上修改myid文件中内容为3、4

4.配置zoo.cfg文件 (1)重命名/opt/module/zookeeper-3.4.10/conf这个目录下的zoo_sample.cfg为zoo.cfg mv zoo_sample.cfg zoo.cfg (2)打开zoo.cfg文件 vim zoo.cfg 修改数据存储路径配置 dataDir=/opt/module/zookeeper-3.4.10/zkData 增加如下配置: #######################cluster########################## server.2=hadoop002:2888:3888 server.3=hadoop003:2888:3888 server.4=hadoop004:2888:3888 (3)同步zoo.cfg配置文件 xsync zoo.cfg (4)配置参数解读 server.A=B:C:D。 A是一个数字,表示这个是第几号服务器; 集群模式下配置一个文件myid,这个文件在dataDir目录下,这个文件里面有一个数据就是A的值,Zookeeper启动时读取此文件,拿到里面的数据与zoo.cfg里面的配置信息比较从而判断到底是哪个server。 B是这个服务器的ip地址; C是这个服务器与集群中的Leader服务器交换信息的端口; D是万一集群中的Leader服务器挂了,需要一个端口来重新进行选举,选出一个新的Leader,而这个端口就是用来执行选举时服务器相互通信的端口。

遇到问题: 如果启动zkServer时,出现Error contacting service. It is probably not running.报错,继续启动下一个节点,只要找到了leader即可。 如果启动zkServer时,出现zookeeper.out: Permission denied报错,找到zookeeper.out此日志文件,添加权限:chmod a+xwr zookeeper.out,再次启动zkServer即可。 采用的是半数选举机制,挂一台没事,挂两台就不行了。

机器过多的时候,就采用ssh脚本启动。 需求:根据输入的命令,启动ZK集群,关闭集群,查看集群状态。 .# !/bin/bash .# 使用case三个分支,写绝对路径,反过来的esac结尾 case

1 in "start"){ for i in hadoop002 hadoop003 hadoop004 do ssh
1 in "start"){ for i in hadoop002 hadoop003 hadoop004 do ssh

i "/opt/module/zookeeper-3.4.10/bin/zkServer.sh start" done };; "stop"){ for i in hadoop002 hadoop003 hadoop004 do ssh

i "/opt/module/zookeeper-3.4.10/bin/zkServer.sh stop" done };; "status"){ for i in hadoop002 hadoop003 hadoop004 do ssh
i "/opt/module/zookeeper-3.4.10/bin/zkServer.sh stop" done };; "status"){ for i in hadoop002 hadoop003 hadoop004 do ssh

i "/opt/module/zookeeper-3.4.10/bin/zkServer.sh status" done };; esac

cd /home/xxx/bin vim zk.sh 复制脚本并保存退出 chmod 777 zk.sh 测试: zk.sh start 一键开启 zk.sh stop 一键关闭 zk.sh status 一键查看

本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 分布式集群安装部署
相关产品与服务
数据保险箱
数据保险箱(Cloud Data Coffer Service,CDCS)为您提供更高安全系数的企业核心数据存储服务。您可以通过自定义过期天数的方法删除数据,避免误删带来的损害,还可以将数据跨地域存储,防止一些不可抗因素导致的数据丢失。数据保险箱支持通过控制台、API 等多样化方式快速简单接入,实现海量数据的存储管理。您可以使用数据保险箱对文件数据进行上传、下载,最终实现数据的安全存储和提取。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档