专栏首页zhisheng干趴面试官系列 | 请你简述一下Kafka中的分区分配

干趴面试官系列 | 请你简述一下Kafka中的分区分配

做积极的人,而不是积极废人!

“请你简述一下Kafka中的分区分配”,当面试官问你这个问题的时候,你会怎么回答?其实,这道题目里面就暗藏汹涌,因为Kafka中的分区分配在多处出现,而这个问题的表述方式是在潜意识里暗示你回答一种,这样在你自认为很完美的回答完这个问题之后,面试官会冷不丁的来一句:还有呢?

当你回答完一个点的时候,面试官来一句还有呢,当你再补上一个的时候,他还是会来一句还有呢,就算你又补上第三个的时候,他还是会来一句还有呢?这个时候你会不会一脸懵逼?

今天就针对这个问题来告诉大家怎么样回答才能严丝合缝地抢得先机。

在Kafka中,分区分配是一个很重要的概念,却往往会被读者忽视,它会影响Kafka整体的性能均衡。当遇到“分区分配”这个字眼的时候,一定要记住有三处地方,分别是生产者发送消息、消费者消费消息和创建主题。虽然这三处的对应操作都可以被称之为“分区分配”,但是其实质上所包含的内容却并不相同。

在面对开篇的问题的时候,不如一下就进行总结性的陈词,说有三处,第一、第二、第三balabala,当真的让你讲完三处的时候,时间也就差不多了。。聪明的面试官看到你一上来就做了一个规划总结,那他顶多也就让你说说你最熟悉的一种,其实说不定内心已经确认你是对的人。

下面针对这三处做个讲解。不过本文旨在罗列相关知识点,进行相关性的科普描述,让读者可以追根溯源,但并不陈述具体细节,因为细节很多,篇幅有限。

生产者的分区分配

对于用户而言,当调用send方法发送消息之后,消息就自然而然的发送到了broker中。其实在这一过程中,有可能还要经过拦截器、序列化器和分区器(Partitioner)的一系列作用之后才能被真正地发往broker。

producer.send(record);

消息在发往broker之前是需要确定它所发往的分区的,如果消息ProducerRecord中指定了partition字段,那么就不需要分区器的作用,因为partition代表的就是所要发往的分区号。如果消息ProducerRecord中没有指定partition字段,那么就需要依赖分区器,根据key这个字段来计算partition的值。分区器的作用就是为消息分配分区。

Kafka中提供的默认分区器是DefaultPartitioner,它实现了Partitioner接口(用户可以实现这个接口来自定义分区器),其中的partition方法就是用来实现具体的分区分配逻辑:

public int partition(String topic, Object key, byte[] keyBytes,
                     Object value, byte[] valueBytes, Cluster cluster);

默认情况下,如果消息的key不为null,那么默认的分区器会对key进行哈希(采用MurmurHash2算法,具备高运算性能及低碰撞率),最终根据得到的哈希值来计算分区号,拥有相同key的消息会被写入同一个分区。如果key为null,那么消息将会以轮询的方式发往主题内的各个可用分区。

注意:如果key不为null,那么计算得到的分区号会是所有分区中的任意一个;如果key为null并且有可用分区,那么计算得到的分区号仅为可用分区中的任意一个,注意两者之间的差别。

消费者的分区分配

在Kafka的默认规则中,每一个分区只能被同一个消费组中的一个消费者消费。消费者的分区分配是指为消费组中的消费者分配所订阅主题中的分区。

如图所示,某个主题中共有4个分区(Partition):P0、P1、P2、P3。有两个消费组A和B都订阅了这个主题,消费组A中有4个消费者(C0、C1、C2和C3),消费组B中有2个消费者(C4和C5)。按照Kafka默认的规则,最后的分配结果是消费组A中的每一个消费者分配到1个分区,消费组B中的每一个消费者分配到2个分区,两个消费组之间互不影响。每个消费者只能消费所分配到的分区中的消息。

对于消费者的分区分配而言,Kafka自身提供了三种策略,分别为RangeAssignor、RoundRobinAssignor以及StickyAssignor,其中RangeAssignor为默认的分区分配策略,至于这三种策略具体代表什么含义,可以去查阅相关资料,比如《深入理解Kafka》,嘿嘿。当然也可以通过实现ParitionAssignor接口来自定义分区分配策略。

在消费组中如果有多个消费者,那么这些消费者又可能会采用不同的分配策略,那么最后怎么“拍板”使用哪一种具体的分配策略呢?

对于这里,我想留一道思考题给大家:在Kafka的默认规则中,每一个分区只能被同一个消费组中的一个消费者消费,那么这个规则可以被打破么?如果可以,怎么打破?打破的收益又是什么?

broker端的分区分配

生产者的分区分配是指为每条消息指定其所要发往的分区,消费者中的分区分配是指为消费者指定其可以消费消息的分区,而这里的分区分配是指为集群制定创建主题时的分区副本分配方案,即在哪个broker中创建哪些分区的副本。分区分配是否均衡会影响到Kafka整体的负载均衡,具体还会牵涉到优先副本等概念。

在创建主题时,如果使用了replica-assignment参数,那么就按照指定的方案来进行分区副本的创建;如果没有使用replica-assignment参数,那么就需要按照内部的逻辑来计算分配方案了。使用kafka-topics.sh脚本创建主题时的内部分配逻辑按照机架信息划分成两种策略:未指定机架信息和指定机架信息。如果集群中所有的broker节点都没有配置broker.rack参数,或者使用disable-rack-aware参数来创建主题,那么采用的就是未指定机架信息的分配策略,否则采用的就是指定机架信息的分配策略。

本文分享自微信公众号 - zhisheng(zhisheng_blog)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-06-19

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Go 并发——实现协程同步的几种方式

    Java 中有一系列的线程同步的方法,go 里面有 goroutine(协程),先看下下面的代码执行的结果是什么呢?

    zhisheng
  • 看透 Spring MVC 源代码分析与实践 —— Spring MVC 组件分析

    组件概览 HandlerMapping 根据 request 找到对应的处理器 Handler 和 Interceptors。内部只有一个方法 Handler...

    zhisheng
  • 骚操作!如何完成垃圾分类的图像识别?

    计算机视觉作为人工智能的主流技术领域之一,历经图像分类-->目标定位-->目标检测,最终发展到图像语义分割技术。

    zhisheng
  • linux学习第十四篇:查看磁盘,文件大小命令:df,du;磁盘分区

    df命令 df:查看已挂载磁盘的总容量、使用容量、剩余容量等,可以不加任何参数,默认是按k为单位显示的。 ? 带有tmpfs的都是临时的文件系统,所以在对应的挂...

    用户1215343
  • 最小化约束下的杂质分区

    原文标题:Minimizing Impurity Partition Under Constraints

    李欣颖6837176
  • MySQL分区分库分表(2) --- 实操篇

    上一篇主要讲到了分区分库分表的概念,其实在不影响性能的情况下,我们完全可以使用单分区单库单表。但是业务量大的情况下,受到性能限制我们不得不选择使用分区分库分表。...

    逆月翎
  • 一篇文章弄懂Linux磁盘和磁盘分区

    Linux 系统中所有的硬件设备都是通过文件的方式来表现和使用的,我们将这些文件称为设备文件,硬盘对应的设备文件一般被称为块设备文件。

    砸漏
  • Windows下新建和更改分区

    分区只是逻辑上的概念,实际都是在一块硬盘上.分区可以使文件存放更规范也可以分离一些系统级别的概念,防止用户操作系统分区导致系统出现问题

    caoayu
  • Mysql分区表 介绍和使用(转)

    分区表可以用一张表存储大量数据,达到和物理分表同样的效果,但操作起来更简单,对于使用者来说和普通表无差别

    wuweixiang
  • 一文带你搞懂 MySQL 中的分区!

    首先要先介绍一下InnoDB逻辑存储结构和区的概念,它的所有数据都被逻辑地存放在表空间,表空间又由段,区,页组成。

    良月柒

扫码关注云+社区

领取腾讯云代金券