Kafka架构与高可用概述

一、消息队列概述

消息队列

应用场景

• • MQ消息通道：异步解耦、削峰填谷、发布订阅、高可用

• • EventBridge数据总线
  • • 事件目标：消费事件消息
  • • 事件集：存储接收到的事件消息，根据事件规则将消息路由到事件目标
  • • 事件源：将云服务、自定义应用、SaaS应用等应用程序产生的事件消息发布到事件集

• • Data Platfrom 数据流平台
  • • 提供批/流数据处理能力
  • • 各类组件提供各类Connect
  • • 提供Streaming/Function能力
  • • 根据数据schema灵活的进行数据预处理能力

二、Kafka详解

Kafka架构介绍

Zookeeper

• • 选举机制：Paxos机制
• • 提供一致性：写入强一致性、读取会话一致性
• • 提供可用性：一半以上节点存活即可读写
• • 提供功能：watch机制、持久/临时节点能力

Borker

• • 若干个Broker节点组成Kafka集群
• • Broker作为消息的接受模块，使用React网络模型进行消息数据的接受
• • Broker作为消息的持久化模块，进行消息的副本复制以及持久化
• • Broker作为高可用模块，通过副本间的Failover进行高可用保证

Controller选举

• • Broker启动会尝试去zk中注册controller节点
• • 注册上controller节点的broker即为controller
• • 其余broker会watch controller节点，节点出现异常进行重新注册

Controller的作用

• • Broker重启/宕机时，负责副本的Failover操作
• • Topic创建/删除时，负责Topic meta信息广播
• • 集群扩缩容时，进行状态控制
• • Partition/Replica 状态机维护

Coordinator

• • 负责topic-partition与consumer的负载均衡
• • 根据不同的场景提供不同的分配策略

Kafka高可用

kafka副本ISR机制

• • AR：已经分配的所有副本
• • OSR：很久没有同步数据的副本
• • ISR：一直在同步数据的副本

kafka写入Ack机制

• • Ack=1：leader副本写入成功，priducer即认为写成功
• • Ack=0：producer发送后即为成功
• • Ack=-1：ISR中所有的副本都成功，producer才认为写成功

kafka副本同步

• • LEO：日志最末尾的数据
• • HW：ISR中最小的LEO作为HW，HW的消息为Consumer可见的消息

kafka副本选举

• • Clean选举：优先选取lsr中的副本为leader，如果lsr中无可用副本，则partition不可用
• • Unclean选举：优先选取lsr中的副本为leader，如果lsr中无可用副本，则选择其他存活副本