Kafka 水位详解

什么是水位

kafka中用水位来描述， 一个分区中的可见数据的offset。 大概你需要知道这几点：

1. hw（水位）你可以理解成是一个全局（所有副本最小offset）的offset， 针对的是一个分区
2. LEO代表着该副本的所有消息的最大offset， 针对的是一个副本，也就是每个副本都有LEO，并且不一样。 其中所有副本中最小的LEO就是水位

水位

为什么要水位？

为了保障数据的一致性

Kafka中水位的运作

当 Leader收到一条消息并写入成功， 其LEO则和马上 +1. 副本会定期去和Leader进行同步， 每同步一个消息，其自己的LEO相应+1， 而水位则是所有副本最小的LEO， 所以也会慢慢进行增加。

• 和ACK的关系 其实没有必然的关系， ACK是用来保证数据不丢失的， 而 hw 是用来保证客户端消费的一致性的， 不过当ACK=-1， 因为会等到数据完全写入到所有副本， 才能返回成功， 也就是说所有副本的LEO都 +1， 其水位必然也会 +1， 这个时候就可以避免数据丢失了。 否则则会存在数据丢失的风险
• 为什么ACK != -1 数据就可能丢失 比如一个分区，四个副本1,2,3,4： 1：LEO = 10（Leader） 2：LEO = 8 3：LEO = 7 4：LEO = 6 此时 hw = 6， 当1 号Leader挂掉了， 3号当选了新Leader， 则所有存活副本首先会将hw之外的所有数据清除， 然后从Leader同步水位之后的数据 比如2号副本： 先清除本身数据7,8，LEO变成6， 然后去Leader同步6之后的数据， 哪怕老Leader1号恢复了，6-10号数据还在， 也需要将宕机时候的hw之后的数据全部清除， 重新从Leader同步数据 所以...结论就是， 只要水位没有覆盖的数据， 都存在丢失的风险。 这也是hw的意义所在， 保证数据的一致性