Kafka整体结构以及模块分析

一、Kafka源代码的工程结构

如下图所示：

二、各模板简要说明

Xml代码

admin：管理员模块，操作和管理topic，paritions相关，包含create,delete topic,扩展patitions

Api：该模块主要负责交互数据的组装，客户端与服务端交互数据编解码

client：该模块比较简单就一个类，Producer读取kafka broker元数据信息topic和partitions，以及leader

cluster：该模块包含几个实体类，Broker,Cluster,Partition,Replica,解释他们之间关系：

Cluster由多个broker组成，一个Broker包含多个partition，一个topic的所有

partitions分布在不同broker的中，一个Replica包含多个Partition。

common：通用模块,只包含异常类和错误验证

consumer：consumer处理模块，负责所有客户端消费者数据和逻辑处理

contoroller：负责中央控制器选举，partition的leader选举，副本分配，副本重新分配，partition和replica扩容。

javaapi：提供java的producer和consumer接口api

log：Kafka文件存储模块，负责读写所有kafka的topic消息数据。

message：封装多个消息组成一个“消息集”或压缩消息集。

metrics：内部状态的监控模块

network：网络事件处理模块，负责处理和接收客户端连接

producer：producer实现模块，包括同步和异步发送消息。

serializer：序列化或反序列化当前消息

kafka：kafka门面入口类，副本管理，topic配置管理，leader选举实现(由contoroller模块调用)。

tools：一看这就是工具模块，包含内容比较多：

a.导出对应consumer的offset值.

b.导出LogSegments信息，当前topic的log写的位置信息.

c.导出zk上所有consumer的offset值.

d.修改注册在zk的consumer的offset值.

f.producer和consumer的使用例子.

utils：Json工具类，Zkutils工具类，Utils创建线程工具类，KafkaScheduler公共调度器类，公共日志类等等。