Kafka 和 ES 都是用来处理大数据的中间件,一个是消息中间件的代表(Kafka),另一个是大数据搜索引擎的代表(ES)。它们在 Java 领域的使用非常广泛,在大数据方面就更不用说了,但它们的选主(选择主节点)有什么关联与区别呢?接下来,我们一起来看。
Kafka 是一个分布式流处理平台,由 LinkedIn 公司开发和维护,之后成为 Apache 软件基金会的一部分。它主要是为处理实时数据而设计的,是一个高吞吐量的分布式发布订阅消息系统。
Kafka 集群组成如下:
说明:每个 Broker 就是一个 Kafka 实例(其中的 Broker 1 为 Controller,也就是主 Broker),一个 Broker 中有多个 Topic,一个 Topic 中有多个分区,分区分为两类:Leader 分区和 Follower 分区。
ES 全称 Elasticsearch,是一个开源的高扩展的分布式全文检索引擎。它可以近乎实时地存储、检索数据,并且具有出色的扩展性,可以扩展到上百台服务器,处理 PB 级别的数据。Elasticsearch 使用 Java 开发,并使用 Apache Lucene 作为其核心来实现所有索引和搜索的功能,但它通过简单的 RESTful API 来隐藏 Lucene 的复杂性,使得全文搜索变得简单。
ES 集群组成如下:
说明:一个 ES 集群中只有一个 Master(主节点)节点,其他的为数据节点(还有其他节点类型,这里忽略),主节点协调整个集群的工作,数据节点中存储了多个分片,每个分片分为两种类型:主分片和副本分片(类似 Kafka 中分区的概念)。
Kafka 选主指的是选 Broker 中的 Controller,而 ES 选主指的是选取集群中的 Master,它们两个的关联是 Kafka 新版本(2.8 之后)和 ES 新版本(7.0 之后),它们的选主策略都是基于 Raft 算法实现的。
PS:当然,Kafka 中叫做 KRaft,ES 也是在 Raft 算法的基础上扩充了二阶段选举,但它们基于的底层算法都是 Raft 算法。
Raft 算法是一种分布式一致性算法,主要用于在分布式系统中实现数据副本的一致性。该算法是 Paxos 算法的工程实现,其主要特点是通过较为简单的算法实现分布式系统的数据一致性和高可用。
Raft 算法的核心是通过选举投票,少数人服从多数人的原则(投票过半原则),如果有一半以上的人投票给某个节点作为 Leader,那么它就是新的 Leader。
在 Raft 算法中,分布式系统中的所有节点被划分为三种角色:领导者(Leader)、追随者(Follower)和候选人(Candidate),这三者身份的转换如下:
每个竞选者根据以上投票来决定新的 leader,如果有一个投票过半,那么它就升级为新的 leader,并把这个消息同步给其他节点。否则会开启新的一轮投票,为了防止一直投票,会在开启新一轮投票时,设置的随机等待时间,和一定次数投票失败后弃权的机制,来保证投票顺利完成。
Kafka 针对 Raft 算法做了哪些调整和升级?ES 针对 Raft 算法又做了哪些调整和升级?
《小徐先生》
本文已收录到我的面试小站 www.javacn.site,其中包含的内容有:Redis、JVM、并发、并发、MySQL、Spring、Spring MVC、Spring Boot、Spring Cloud、MyBatis、设计模式、消息队列等模块。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。