小小工匠
Kafka - AR 、ISR、OSR,以及HW和LEO之间的关系
关注作者
前往小程序,Get
更优
阅读体验!
立即前往
腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
小小工匠
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
社区首页
>
专栏
>
Kafka - AR 、ISR、OSR,以及HW和LEO之间的关系
Kafka - AR 、ISR、OSR,以及HW和LEO之间的关系
小小工匠
关注
发布于 2023-07-24 15:25:31
310
0
发布于 2023-07-24 15:25:31
举报
文章被收录于专栏:
小工匠聊架构
在这里插入图片描述
引子
AR(Assigned Replication): 分区中的所有副本统称为AR(Assigned Replicas)
ISR(In-Sync Replicas):同步副本集合 ISR是指当前与主副本保持同步的副本集合。当主副本发生故障时,Kafka会从ISR中选举一个新的主副本来接管工作。因此,ISR的大小对于分区的可用性和性能至关重要。如果ISR太小,那么当主副本故障时,选举新的主副本可能会导致数据丢失或延迟;如果ISR太大,那么同步数据的成本会变得很高,影响分区的性能。
OSR(Out-of-Sync Replicas):异步副本集合 OSR是指当前与主副本不保持同步的副本集合。这些副本可能由于网络故障或其他原因而与主副本失去同步。OSR的存在不会影响分区的可用性和性能,但是如果OSR过大,那么可能会占用过多的磁盘空间和网络带宽。
HW(High Watermark):高水位 HW是指已经被所有副本复制的最高偏移量。当消费者从分区中读取消息时,它会记录当前已经读取到的偏移量,并将该偏移量作为下一次读取的起始位置。如果消费者读取到的偏移量小于HW,那么它只能读取到已经被所有副本复制的消息;如果消费者读取到的偏移量大于HW,那么它可能会读取到未被所有副本复制的消息。
LEO(Log End Offset):日志末尾偏移量 LEO是指分区中最后一条消息的偏移量。当生产者向分区中写入消息时,它会将该消息的偏移量记录在LEO中。消费者从分区中读取消息时,它可以通过LEO来判断是否已经读取了所有的消息。
举例说明
在这里插入图片描述
本文参与
腾讯云自媒体同步曝光计划
,分享自作者个人站点/博客。
原始发表:2023-07-19,如有侵权请联系
cloudcommunity@tencent.com
删除
前往查看
kafka
工作
集合
同步
性能
本文分享自
作者个人站点/博客
前往查看
如有侵权,请联系
cloudcommunity@tencent.com
删除。
本文参与
腾讯云自媒体同步曝光计划
,欢迎热爱写作的你一起参与!
kafka
工作
集合
同步
性能
评论
登录
后参与评论
0 条评论
热度
最新
推荐阅读
LV.
文章
0
获赞
0
目录
引子
举例说明
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档
0
0
0
推荐