前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >kafka的ack确认机制

kafka的ack确认机制

作者头像
CoreDao
发布2021-04-12 15:52:51
2.6K0
发布2021-04-12 15:52:51
举报
文章被收录于专栏:BigData_Flink

ack(acknowledgemen 确认收到)

A1 目的

为了保证producer发送的数据能可靠的发送到指定的topic。

A2 过程

topic的每个partition收到producer发送的数据后,都需向producer发送ack,如果producer收到ack,就会进行下一轮的发送,否则重新发送。

cFBIrd.png
cFBIrd.png

A3 穿插

ISR机制:

  • Leader维护了一个动态的in-sync replica set (ISR),意为和leader保持同步的follower集合。follower长时间不同步,被踢出ISR ,该时间阈值由replica.lag.time.max.ms参数设定。Leader发生故障之后,就会从ISR中选举新的leader。

A4 ack应答机制:

ack级别:

  • 0:producer不等待broker的ack,最低延迟,broker一收到还没写入磁盘就返回,当broker故障时易丢失数据。
  • 1:producer等待broker的ack,partition的leader落盘成功后返回ack,如果在follower同步成功之前leader故障,那么将会丢失数据。
  • -1(all):producer等待broker的ack,partition的leader和follower全部落盘成功后才返回ack。但是如果在follower同步完成后,broker发送ack之前,leader发生故障,那么会造成数据重复。
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2021/03/30 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • A1 目的
  • A2 过程
  • A3 穿插
  • A4 ack应答机制:
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档