腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

暴走大数据

专栏作者

298

文章

534053

阅读量

99

订阅数

Apache Kafka架构设计&部署&实践小指南

kafka 数据库大数据 sql zookeeper

所以消息系统就是如上图我们所说的仓库，能在中间过程作为缓存，并且实现解耦合的作用。

大数据真好玩

2021-07-07

4140

HDFS 底层交互原理解析

node.js 大数据编程算法 zookeeper

大约在 15 年前，我们大数据开发的“祖师爷”（Doug Cutting）基于 Google 经典论文“三驾马车”，陆续实现了 HDFS、MapReduce、HBase 三个经典大数据组件并做了开源，这才有了这些年来大数据生态圈的红红火火。

大数据真好玩

2021-07-07

6940

【大数据哔哔集20210125】Kafka将逐步弃用对zookeeper的依赖

kafka zookeeper raft

目前，Kafka 使用 ZooKeeper 来保存与分区和broker相关的元数据，并选举出一个broker作为集群控制器。不过，Kafka 开发团队想要消除对 Zookeeper 的依赖，这样就可以以更可伸缩和更健壮的方式来管理元数据，从而支持更多的分区，还能够简化 Kafka 的部署和配置。

大数据真好玩

2021-02-23

6230

【大数据哔哔集20210124】有人问我Kafka Leader选举?我真没慌

kafka zookeeper

一条消息只有被ISR中所有Follower都从Leader复制过去才会被认为已提交。这样就避免了部分数据被写进了Leader，还没来得及被任何Follower复制就宕机了，而造成数据丢失。而对于Producer而言，它可以选择是否等待消息commit，这可以通过request.required.acks来设置。这种机制确保了只要ISR中有一个或者以上的follower，一条被commit的消息就不会丢失。

大数据真好玩

2021-02-23

2940

【大数据哔哔集20210123】别问，问就是Kafka高可靠

kafka 文件存储 zookeeper

Kafka的高可靠性的保障来源于其健壮的副本（replication）策略。通过调节其副本相关参数，可以使得Kafka在性能和可靠性之间运转的游刃有余。Kafka从0.8.x版本开始提供Partition级别的复制，replication数量可以配置文件（default.replication.refactor）中或者创建Topic的时候指定。

大数据真好玩

2021-02-23

3600

ZooKeeper快速领导选举（Fast Leader Election）机制解析

zookeeper state zk

众所周知，ZK是典型的Leader-Follower架构的分布式框架，通过ZooKeeper原子广播（ZooKeeper Atomic Broadcast, ZAB）协议来保证最终一致性。只有Leader能处理写请求，而Leader和Follower都能处理读请求。

大数据真好玩

2021-01-26

1K0

Kafka+Spark Streaming管理offset的几种方法

kafka spark 存储 api zookeeper

场景描述：Kafka配合Spark Streaming是大数据领域常见的黄金搭档之一，主要是用于数据实时入库或分析。为了应对可能出现的引起Streaming程序崩溃的异常情况，我们一般都需要手动管理好Kafka的offset，而不是让它自动提交，即需要将enable.auto.commit设为false。只有管理好offset，才能使整个流式系统最大限度地接近exactly once语义。

大数据真好玩

2019-10-23

4810

深入理解 Flink 容错机制

大数据 zookeeper yarn node.js

场景描述：作为分布式系统，尤其是对延迟敏感的实时计算引擎，Apache Flink 需要有强大的容错机制，以确保在出现机器故障或网络分区等不可预知的问题时可以快速自动恢复并依旧能产生准确的计算结果。

大数据真好玩

2019-10-15

2K0

Druid架构面面观

大数据 zookeeper 存储

场景描述：大数据时代，对于数据的各种操作要求往往是分离开的，比如有专门的系统负责插入，有专门的系统负责查询。druid的就很好的体现了这一点。

大数据真好玩

2019-09-26

7140

Zookeeper集群为何是奇数

半数以上投票通过：客户端的增删改操作无论访问到了哪台 ZooKeeper 服务器，最终都会被转发给 leader 服务器，再由 leader 服务器分给 ZooKeeper 集群中所有 follower 服务器去投票（投票指的是在内存中做增删改操作），半数投票通过就被认为操作可执行（commit），否则不可执行。

大数据真好玩

2019-08-27

7110

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态