Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
社区首页 >专栏 >CentOs7.3 搭建 ZooKeeper-3.4.9 单机服务

CentOs7.3 搭建 ZooKeeper-3.4.9 单机服务

作者头像
程序员鹏磊
发布于 2018-02-09 07:05:35
发布于 2018-02-09 07:05:35
87500
代码可运行
举报
文章被收录于专栏:架构师专栏架构师专栏
运行总次数:0
代码可运行

概述

zookeeper实际上是yahoo开发的,用于分布式中一致性处理的框架。最初其作为研发Hadoop时的副产品。由于分布式系统中一致性处理较为困难,其他的分布式系统没有必要 费劲重复造轮子,故随后的分布式系统中大量应用了zookeeper,以至于zookeeper成为了各种分布式系统的基础组件,其地位之重要,可想而知。著名的hadoop,kafka,dubbo 都是基于zookeeper而构建

要想理解zookeeper到底是做啥的,那首先得理解清楚,什么是一致性?

所谓的一致性,实际上就是围绕着“看见”来的。谁能看见?能否看见?什么时候看见?举个例子:淘宝后台卖家,在后台上架一件大促的商品,通过服务器A提交到主数据库,假设刚提交后立马就有用户去通过应用服务器B去从数据库查询该商品,就会出现一个现象,卖家已经更新成功了,然而买家却看不到;而经过一段时间后,主数据库的数据同步到了从数据库,买家就能查到了。

假设卖家更新成功之后买家立马就能看到卖家的更新,则称为强一致性

如果卖家更新成功后买家不能看到卖家更新的内容,则称为弱一致性

而卖家更新成功后,买家经过一段时间最终能看到卖家的更新,则称为最终一致性

《一致性协议》

《ZooKeeper应用场景》

《分布式架构》

《分布式 ZooKeeper 系列》

环境

VMware版本号:12.0.0

CentOS版本:CentOS 7.3.1611

ZooKeeper版本:ZooKeeper-3.4.9.tar.gz

JDK环境:jdk-8u144-linux-x64.tar.gz

JDK 1.8 安装

具体参考《CentOs7.3 安装 JDK1.8》

ZooKeeper安装

1.下载ZooKeeper

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
cd /opt/
wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.4.9/zookeeper-3.4.9.tar.gz

或者在浏览器下载上传至opt 目录

2.提取tar文件

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
cd /opt/
tar -zxf  zookeeper-3.4.9.tar.gz
cd zookeeper-3.4.9

创建data文件夹 用于存储数据文件

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
mkdir data  logs

创建logs文件夹 用于存储日志

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
mkdir logs  

3.创建配置文件

使用命令 vi conf/zoo.cfg 创建配置文件并打开,ps (其实目录conf 下有默认的配置文件,但是注释太多,英文一大堆,太乱)

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
vi  /opt/zookeeper-3.4.9/conf/zoo.cfg

编辑内容如下

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
tickTime = 2000
dataDir =  /opt/zookeeper-3.4.9/data
dataLogDir = /opt/zookeeper-3.4.9/logs
tickTime = 2000
clientPort = 2181
initLimit = 5
syncLimit = 2

配置文件描述

tickTime

  • tickTime则是上述两个超时配置的基本单位,例如对于initLimit,其配置值为5,说明其超时时间为 2000ms * 5 = 10秒。

dataDir

  • 其配置的含义跟单机模式下的含义类似,不同的是集群模式下还有一个myid文件。myid文件的内容只有一行,且内容只能为1 - 255之间的数字,这个数字亦即上面介绍server.id中的id,表示zk进程的id。

dataLogDir

  • 如果没提供的话使用的则是dataDir。zookeeper的持久化都存储在这两个目录里。dataLogDir里是放到的顺序日志(WAL)。而dataDir里放的是内存数据结构的snapshot,便于快速恢复。为了达到性能最大化,一般建议把dataDir和dataLogDir分到不同的磁盘上,这样就可以充分利用磁盘顺序写的特性。

initLimit

  • ZooKeeper集群模式下包含多个zk进程,其中一个进程为leader,余下的进程为follower。 当follower最初与leader建立连接时,它们之间会传输相当多的数据,尤其是follower的数据落后leader很多。initLimit配置follower与leader之间建立连接后进行同步的最长时间。

syncLimit

  • 配置follower和leader之间发送消息,请求和应答的最大时间长度。

ZooKeeper操作

启动服务

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
/opt/zookeeper-3.4.9/bin/zkServer.sh start

响应

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
ZooKeeper JMX enabled by default
Using config: /opt/zookeeper-3.4.9/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

连接服务

连接到ZooKeeper服务

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
/opt/zookeeper-3.4.9/bin/zkCli.sh

响应

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
Connecting to localhost:2181
2017-08-22 16:43:05,954 [myid:] - INFO  [main:Environment@100] - Client environment:zookeeper.version=3.4.9-1757313, built on 08/23/2016 06:50 GMT
2017-08-22 16:43:05,958 [myid:] - INFO  [main:Environment@100] - Client environment:host.name=node1
2017-08-22 16:43:05,958 [myid:] - INFO  [main:Environment@100] - Client environment:java.version=1.8.0_144
2017-08-22 16:43:05,967 [myid:] - INFO  [main:Environment@100] - Client environment:java.vendor=Oracle Corporation
2017-08-22 16:43:05,967 [myid:] - INFO  [main:Environment@100] - Client environment:java.home=/usr/lib/jvm/jre
2017-08-22 16:43:05,967 [myid:] - INFO  [main:Environment@100] - Client environment:java.class.path=/opt/zookeeper-3.4.9/bin/../build/classes:/opt/zookeeper-3.4.9/bin/../build/lib/*.jar:/opt/zookeeper-3.4.9/bin/../lib/slf4j-log4j12-1.6.1.jar:/opt/zookeeper-3.4.9/bin/../lib/slf4j-api-1.6.1.jar:/opt/zookeeper-3.4.9/bin/../lib/netty-3.10.5.Final.jar:/opt/zookeeper-3.4.9/bin/../lib/log4j-1.2.16.jar:/opt/zookeeper-3.4.9/bin/../lib/jline-0.9.94.jar:/opt/zookeeper-3.4.9/bin/../zookeeper-3.4.9.jar:/opt/zookeeper-3.4.9/bin/../src/java/lib/*.jar:/opt/zookeeper-3.4.9/bin/../conf:.:/lib/jvm/lib:/lib/jvm/jre/lib
2017-08-22 16:43:05,967 [myid:] - INFO  [main:Environment@100] - Client environment:java.library.path=/usr/java/packages/lib/amd64:/usr/lib64:/lib64:/lib:/usr/lib
2017-08-22 16:43:05,967 [myid:] - INFO  [main:Environment@100] - Client environment:java.io.tmpdir=/tmp
2017-08-22 16:43:05,967 [myid:] - INFO  [main:Environment@100] - Client environment:java.compiler=<NA>
2017-08-22 16:43:05,967 [myid:] - INFO  [main:Environment@100] - Client environment:os.name=Linux
2017-08-22 16:43:05,967 [myid:] - INFO  [main:Environment@100] - Client environment:os.arch=amd64
2017-08-22 16:43:05,967 [myid:] - INFO  [main:Environment@100] - Client environment:os.version=3.10.0-514.26.2.el7.x86_64
2017-08-22 16:43:05,968 [myid:] - INFO  [main:Environment@100] - Client environment:user.name=root
2017-08-22 16:43:05,968 [myid:] - INFO  [main:Environment@100] - Client environment:user.home=/root
2017-08-22 16:43:05,968 [myid:] - INFO  [main:Environment@100] - Client environment:user.dir=/opt/zookeeper-3.4.9
2017-08-22 16:43:05,969 [myid:] - INFO  [main:ZooKeeper@438] - Initiating client connection, connectString=localhost:2181 sessionTimeout=30000 watcher=org.apache.zookeeper.ZooKeeperMain$MyWatcher@506c589e
Welcome to ZooKeeper!
2017-08-22 16:43:06,011 [myid:] - INFO  [main-SendThread(localhost:2181):ClientCnxn$SendThread@1032] - Opening socket connection to server localhost/0:0:0:0:0:0:0:1:2181. Will not attempt to authenticate using SASL (unknown error)
JLine support is enabled
2017-08-22 16:43:06,164 [myid:] - INFO  [main-SendThread(localhost:2181):ClientCnxn$SendThread@876] - Socket connection established to localhost/0:0:0:0:0:0:0:1:2181, initiating session
2017-08-22 16:43:06,237 [myid:] - INFO  [main-SendThread(localhost:2181):ClientCnxn$SendThread@1299] - Session establishment complete on server localhost/0:0:0:0:0:0:0:1:2181, sessionid = 0x15e091bf2020000, negotiated timeout = 30000

WATCHER::

WatchedEvent state:SyncConnected type:None path:null

[zk: localhost:2181(CONNECTED) 0] 

服务状态

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
/opt/zookeeper-3.4.9/bin/zkServer.sh status

响应

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
ZooKeeper JMX enabled by default
Using config: /opt/zookeeper-3.4.9/bin/../conf/zoo.cfg
Mode: standalone

停止服务

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
/opt/zookeeper-3.4.9/bin/zkServer.sh stop

响应

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
bin/zkServer.sh stop
ZooKeeper JMX enabled by default
Using config: /opt/zookeeper-3.4.9/bin/../conf/zoo.cfg
Stopping zookeeper ... STOPPED

推荐阅读

CentOs7.3 搭建 ZooKeeper-3.4.9 Cluster 集群服务

Contact

  • 作者:鹏磊
  • 出处:http://www.ymq.io
  • Email:admin@souyunku.com
  • 版权归作者所有,转载请注明出处
  • Wechat:关注公众号,搜云库,专注于开发技术的研究与知识分享
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2017/08/18,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
CentOs7.3 搭建 ZooKeeper-3.4.9 Cluster 集群服务
CentOs7.3 搭建 ZooKeeper-3.4.9 Cluster 集群服务 Zookeeper 概述 zookeeper实际上是yahoo开发的,用于分布式中一致性处理的框架。最初其作为研发Hadoop时的副产品。由于分布式系统中一致性处理较为困难,其他的分布式系统没有必要 费劲重复造轮子,故随后的分布式系统中大量应用了zookeeper,以至于zookeeper成为了各种分布式系统的基础组件,其地位之重要,可想而知。著名的hadoop,kafka,dubbo 都是基于zookeeper而构建。 要
程序员鹏磊
2018/02/09
7610
快速开始Zookeeper 转
Zookeeper是一个高性能的分布式应用协调服务的框架。Zookeeper=Zoo+keeper,中文直译是动物园的看守者。
wuweixiang
2018/08/14
3030
storm集群部署
机子配置信息 操作系统:CentOS release 6.5 (Final) cpu:Intel(R) Xeon(R) CPU E5-2630 v2 @ 2.60GHz 内存:32G 磁盘大小:1.5T storm 软件包 apache-storm-1.0.0.tar.gz Python 版本 Centos 6.5 系统自带有如下版本 Python,满足 storm 部署的要求 Python 2.6.6 (r266:84292, Nov 22 2013, 12:16:22) [GCC 4.4.7 20120313 (Red Hat 4.4.7-4)] on linux2 JDK storm1.0.0 官方要求 JDK1.7 及以上,本次实验使用 JDK1.8 java version "1.8.0_91" zookeeper 版本 zookeeper-3.4.9.tar.gz
用户3148308
2018/09/13
1.7K0
搭建zookeeper集群
下载zookeeper-3.4.14.tar.gz 使用xshell的rz命令或者xftp工具将zookeeper-3.4.14.tar.gz压缩文件上传到三台主机的 /opt 目录下 解压 zookeeper-3.4.14.tar.gz tar -zxvf zookeeper-3.4.14.tar.gz 切换到zookeeper-3.4.14目录,创建data和log文件夹【三台机器都要创建】 cd zookeeper-3.4.14 mkdir data log #####################
暖月寒星
2020/03/10
5540
Hadoop基础教程-第8章 Zookeeper(8.5 Zookeeper内存数据库)
ZooKeeper的数据模型是一棵树,而从使用角度看, Zookeeper就像一个内存数据库一样。在这个内存数据库中,存储了整棵树的内容,包括所有的节点路径、节点数据及其ACL信息等,Zookeeper会定时将这个数据存储到磁盘上。 Zookeeper内存数据库是通过ZKDatabase类实现, 内部属性包括dataTree,sessionsWithTimeouts,snapLog,commitedLog。
程裕强
2022/05/06
3630
Hadoop基础教程-第8章 Zookeeper(8.5 Zookeeper内存数据库)
Docker/Dockerfile debug调试技巧
但我们在编写/调试Dockerfile的时候我们经常会重复之前的command,比如这种docker run --name jstorm-zookeeper zookeeper:3.4,然后就容器名就冲突了。
sunsky
2020/08/20
2.6K0
一脸懵逼搭建Zookeeper分布式集群
本文介绍了如何利用Zookeeper实现分布式锁,并详细阐述了Zookeeper实现分布式锁的机制和原理。同时,本文还提供了一种基于Zookeeper的分布式锁实现示例,以帮助读者更好地理解和应用分布式锁。
别先生
2018/01/02
8880
一脸懵逼搭建Zookeeper分布式集群
Centos6下zookeeper集群部署记录
ZooKeeper是一个开放源码的分布式应用程序协调服务,它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等。 Zookeeper设计目的 最终一致性:client不论
洗尽了浮华
2018/01/23
7310
Centos6下zookeeper集群部署记录
ZooKeeper 集群2
查看状态 [root@h101 zk]# zookeeper-3.4.6.2/bin/zkServer.sh status JMX enabled by default Using config: /root/zk/zookeeper-3.4.6.2/bin/../conf/zoo.cfg Mode: follower [root@h101 zk]# zookeeper-3.4.6.1/bin/zkServer.sh status JMX enabled by default Using config:
franket
2022/03/25
2440
搭建Kafka集群( 2.8.0版本)之一
Kafka最新版本2.8.0可以不依赖zookeeper,但是仍然测试阶段,所以官方不推荐使用,因此还是要使用zookeeper集群。
程裕强
2021/09/08
1.3K0
ZooKeeper 基础3
使用 bin/zkCli.sh -server 127.0.0.1:2181 进行连接
franket
2022/03/25
2170
一脸懵逼学习HBase的搭建(注意HBase的版本)
本文介绍了如何使用HBase和Zookeeper实现分布式协调,并总结了HBase和Zookeeper的主要概念和命令。
别先生
2018/01/02
2.1K0
一脸懵逼学习HBase的搭建(注意HBase的版本)
ZooKeeper伪分布式集群安装及使用
ZooKeeper是一个为分布式应用所设计的分布的、开源的协调服务,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,简化分布式应用协调及其管理的难度,提供高性能的分布式服务。ZooKeeper本身可以以Standalone模式安装运行,不过它的长处在于通过分布式ZooKeeper集群(一个Leader,多个Follower),基于一定的策略来保证ZooKeeper集群的稳定性和可用性,从而实现分布式应用的可靠性。
星哥玩云
2022/07/04
3970
Hadoop基础教程-第9章 HA高可用(9.4 YARN 高可用)(草稿)
该文介绍了如何利用Zookeeper实现分布式锁,并给出了具体的示例。Zookeeper作为一个可靠的、一致性分布式协调服务,被广泛应用于分布式系统中。通过Zookeeper,应用可以在分布式环境中实现一致性的逻辑单元,从而保证分布式系统中数据的一致性和可靠性。
程裕强
2018/01/02
8920
Hadoop基础教程-第9章 HA高可用(9.4 YARN 高可用)(草稿)
Apache Kafka-初体验Kafka(02)-Centos7下搭建单节点kafka_配置参数详解_基本命令实操
由于Kafka是用Scala语言开发的,运行在JVM上,因此在安装Kafka之前需要先安装JDK.
小小工匠
2021/08/17
5250
从Zookeeper 到 Elastic Job 的原理解析和使用(一)
想必大家都对分布式系统有所耳闻,大部分人对分布式都能侃侃而谈,但到了真正实施的时候,才发现其中的不易。今天带大家一起了解一款开源软件,ZooKeeper。它通过一些简单好用的API,来解决分布式系统设计与开发中的难点。
MickyInvQ
2020/09/27
1.4K0
从Zookeeper 到 Elastic Job 的原理解析和使用(一)
Zookeeper On Kubernetes 运维小白实战入门
今天我们的实战内容采用场景模拟的形式,模拟真实运维工作中,必然会遇到的一个场景。什么场景,还必然会,接着往下看...!!!
运维有术
2023/08/09
1.1K0
Zookeeper On Kubernetes 运维小白实战入门
Hadoop基础教程-第9章 HA高可用(9.3 HDFS 高可用运行)(草稿)
程裕强
2018/01/02
1.3K0
Hadoop基础教程-第9章 HA高可用(9.3 HDFS 高可用运行)(草稿)
Zookeeper和Kafka环境搭建总结
由于项目需要涉及到zookeeper和Kafka的使用,快速做了一篇笔记,方便小伙伴们搭建环境。
Rude3Knife的公众号
2019/08/08
8110
Zookeeper和Kafka环境搭建总结
Zookeeper 入门
下载地址:http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.6.2/
架构探险之道
2023/03/04
2330
Zookeeper 入门
相关推荐
CentOs7.3 搭建 ZooKeeper-3.4.9 Cluster 集群服务
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
查看详情【社区公告】 技术创作特训营有奖征文