首页
学习
活动
专区
工具
TVP
发布

大数据学习笔记

专栏成员
533
文章
780798
阅读量
73
订阅数
简单理解Zookeeper的Leader选举
Leader选举是保证分布式数据一致性的关键所在。Leader选举分为Zookeeper集群初始化启动时选举和Zookeeper集群运行期间Leader重新选举两种情况。在讲解Leader选举前先了解一下Zookeeper节点4种可能状态和事务ID概念。
程裕强
2022-05-06
2300
ZooKeeper典型应用
参考了:https://www.jianshu.com/p/84ad63127cd1
程裕强
2022-05-06
3990
Hadoop基础教程-第9章 HA高可用(9.1 HDFS 高可用介绍)
HDFS HA(High Availability)高可用配置官方参考网址 http://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html
程裕强
2022-05-06
8260
Hadoop基础教程-第8章 Zookeeper(8.5 Zookeeper内存数据库)
ZooKeeper的数据模型是一棵树,而从使用角度看, Zookeeper就像一个内存数据库一样。在这个内存数据库中,存储了整棵树的内容,包括所有的节点路径、节点数据及其ACL信息等,Zookeeper会定时将这个数据存储到磁盘上。 Zookeeper内存数据库是通过ZKDatabase类实现, 内部属性包括dataTree,sessionsWithTimeouts,snapLog,commitedLog。
程裕强
2022-05-06
3440
Hadoop基础教程-第8章 Zookeeper(8.4 Zookeeper集群模式)
Running ZooKeeper in standalone mode is convenient for evaluation, some development, and testing. But in production, you should run ZooKeeper in replicated mode. 单机模式的ZooKeeper便于评估,开发和测试。但在生产中,我们应该以集群模式运行ZooKeeper。
程裕强
2022-05-06
2100
Hadoop基础教程-第8章 Zookeeper(8.3 Zookeeper单机模式)
Zookeeper 有三种运行模式:单机模式、伪集群模式和集群模式。本节重点介绍单机模式,单机模式仅仅用于开发测试环境。一方面我们没有那么多机器资源,另外就是平时的开发调试并不需要极好的稳定性。
程裕强
2022-05-06
1200
Hadoop基础教程-第8章 Zookeeper(8.2 Zookeeper下载与安装)
ZooKeeper服务器是用Java创建的,它在JVM上运行。需要使用JDK 6或更高版本。这里我们使用JDK8,前文已经安装。
程裕强
2022-05-06
2200
Hadoop基础教程-第8章 Zookeeper(8.1 Zookeeper介绍)
单点故障(single point of failure),从英文字面上可以看到是单个点发生的故障,通常应用于计算机系统及网络。实际指的是单个点发生故障的时候会波及到整个系统或者网络,从而导致整个系统或者网络的瘫痪。这也是在设计IT基础设施时应避免的。
程裕强
2022-05-06
2230
搭建Kafka集群( 2.8.0版本)之二
Kafka软件包提供了kafka-console-producer.sh脚本,这是一个简易的生产者控制台,供我们测试之用。我们可以通过Java编写一个具有具体业务意义的消息生产者。
程裕强
2021-09-08
5550
Kafka集群(2.8.0版本)快速入门
参考官方文档,一步步执行 https://kafka.apache.org/documentation/#quickstart
程裕强
2021-09-08
1980
搭建Kafka集群( 2.8.0版本)之一
Kafka最新版本2.8.0可以不依赖zookeeper,但是仍然测试阶段,所以官方不推荐使用,因此还是要使用zookeeper集群。
程裕强
2021-09-08
1.2K0
查看zookeeper事务日志
(1)Zookeeper的事务日志文件位置,在配置文件zoo.cfg的dataDir指定。 我的配置如下
程裕强
2021-09-08
1.3K0
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档