前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >面试官:你说说Kafka是怎么保证消息可靠性的

面试官:你说说Kafka是怎么保证消息可靠性的

原创
作者头像
Java进阶指南针
修改2024-07-07 15:15:36
1100
修改2024-07-07 15:15:36
举报
文章被收录于专栏:JavaSouth系列

面试官:听说你精通Kafka,那我就考考你吧面试官:不用慌尽管说,错了也没关系😊。。。__【面试官面试】的形式来分享技术,本期是《Kafka系列》,感兴趣就关注我吧❤️

面试官:知道Kafka高水位吗

当前高水位就是复制偏移量嘛,记录了当前已提交消息的最大偏移量

是这样的,Kafka的消息只有在所有分区副本都同步该消息后,才算是已提交的消息。

分区副本会根据首领分区副本提供的高水位,来避免未提交的消息被消费。

面试官思考中…

面试官:你说说Kafka是怎么保证消息可靠性的

嗯嗯好的。

在Broker方面,主要使用了分区多副本架构,来保证消息不丢失。

Kafka集群的每一个分区的首领副本,都会有n(复制系数)个broker机器去复制后,生成跟随者副本

同时如果首领副本的机器挂了,跟随者副本会选举成为新的首领副本

分区有多个备份是消息保存的一个可靠性保障。

面试官思考中…

面试官:还有吗,比如生产者消费者呢

噢噢还有的,还有在生产者、消费者方面的可靠性。

一、在生产者方面

  1. 提供了ack = all这种发送确认机制。也就是只有在消息成功写入所有副本后,才算该消息已提交,保证了消息的多备份。
  2. ack = all失败的话,生产者可以继续重试发送消息。

二、在消费者方面

  1. 消费者消费时,会根据偏移量进行消费,保证了消息的顺序性
  2. 消费后会同步提交、异步提交偏移量,保证了消息不被重复消费

面试官思考中…

面试官:那要是Kafka消费堆积了怎么办

这样的话,要从Broker和消费者两方面来看。

一、Broker的话

  1. 每个topic是分为多个分区给不同Broker处理,要合理分配分区数量来提高Broker的消息处理能力。比如3个Broker2个分区,可以改为3个Broker3个分区
  2. 也可以横向扩展Broker集群

二、消费者的话

  1. 可以增加消费者服务数量
  2. 提交偏移量时,可以把同步提交改为异步提交,来减少同步等待Broker的时间

面试官思考中…

面试官:emmmm,你知道Kafka控制器吧

嗯嗯知道的。控制器其实也是一个broker,不过它还负责选举分区首领

也就是在首领副本所在的分区失效后,通过控制器来在分区副本里选举出新的首领副本

面试官抓抓脑袋,继续看你的简历......得想想考点你不懂的😰

未完待续。。。。。。

好了,今天的分享就先到这,我们下期【Kafka系列】继续。

创作不易,不妨点赞、收藏、关注支持一下,各位的支持就是我创作的最大动力❤️

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 面试官:知道Kafka高水位吗
  • 面试官:你说说Kafka是怎么保证消息可靠性的
  • 面试官:还有吗,比如生产者消费者呢
  • 面试官:那要是Kafka消费堆积了怎么办
  • 面试官:emmmm,你知道Kafka控制器吧
  • 未完待续。。。。。。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档