同样是消息中间件，Kafka吞吐量为何如此优秀。

2019年9月5星期四

第49篇原创

Apache Kafka基准测试：每秒写入2百万（在三台廉价机器上），网上也有很多Kafka的测试文章，测试结果通常都是“吊打”其他MQ。是不是吹牛逼你是否怀疑过or考察过。

带着这个问题，小编在公司公开课有幸听了Kafka开发者之一来公司演讲，解释了Kafka的设计原理，深入理解Kafka为何能“吊打”其他MQ。

先理解几个关于Kafka的名词：

• Broker：消息中间件处理结点，一个Kafka节点就是一个broker，多个broker可以组成一个Kafka集群。
• Topic：一类消息，例如page view日志、click日志等都可以以topic的形式存在，Kafka集群能够同时负责多个topic的分发。
• Partition：topic物理上的分组，一个topic可以分为多个partition，每个partition是一个有序的队列。
• Segment：partition物理上由多个segment组成，下面2.2和2.3有详细说明。
• offset：每个partition都由一系列有序的、不可变的消息组成，这些消息被连续的追加到partition中。partition中的每个消息都有一个连续的序列号叫做offset,用于partition唯一标识一条消息.

原理分析

1. 消息顺序写入：一个topic在多个Partition中顺序写入，利用了磁盘连续读写性能远远高于随机读写的特点，它充分利用了现代操作系统分页存储来利用内存提高I/O效率。通过index元数据全部映射到memory，可以避免segment file的IO磁盘操作。
2. 内部采用消息的批量处理，zero-copy机制，数据的存储和获取是本地磁盘顺序批量操作，具有O(1)的复杂度，消息处理的效率很高。
3. 消息从java堆转入page cache(即物理内存)。由异步线程刷盘,消息从page cache刷入磁盘。
4. 批量压缩：它把所有的消息都变成一个批量的文件，并且进行合理的批量压缩，减少网络IO损耗，通过mmap提高I/O速度，写入数据的时候由于单个Partion是末尾添加所以速度最优；读取数据的时候配合sendfile直接暴力输出。
5. 消息直接从page cache转入socket发送出去。当从page cache没有找到相应数据时，此时会产生磁盘IO,从磁 盘Load消息到page cache,然后直接从socket发出去

partiton中文件存储方式

• 每个partion(目录)相当于一个巨型文件被平均分配到多个大小相等segment(段)数据文件中。但每个段segment file消息数量不一定相等，这种特性方便old segment file快速被删除。
• 每个partiton只需要支持顺序读写就行了，segment文件生命周期由服务端配置参数决定。