场景:Serverful 实例上的 CKafka,订单 Topic 为 3 副本、12 分区。 min.insync.replicas 默认 1, unclean.leader.election.enable 默认 true。 Java 生产者配置 acks=1、enable.idempotence=false, future.get() 拿到 RecordMetadata 才返回下单成功。
现象:
- 某 Broker 故障后 Leader 切换。按订单号对账,一批已返回成功的订单在新 Leader 上不存在,下游也没入账。
- 发送日志有 partition 和 offset,按该 offset 查询对不上这批订单。同一时段日志出现 NotLeaderForPartitionException。
已尝试:
- 消费组位点没有跳过这段 offset,不像提前提交。
- 改为 acks=all, min.insync.replicas 调到 2。副本落后时出现 NotEnoughReplicasException, send 重试后超时,下单失败,已改回 acks=1。
问题:
- 已拿到 offset 的消息,非计划 Leader 切换后为什么查不到?实例升级、单可用区切跨可用区、实例迁移这类计划内 rebalance, acks=1 会不会同样丢?
- acks=all 且 min.insync.replicas=2 能否挡住这次丢失?写入被拒绝时,下单该失败重试,还是继续 acks=1,靠对账补偿?
- 幂等生产者能不能补这个洞? unclean.leader.election.enable 保持 true,这次故障里起了什么作用?改成 false 后, ISR 为空时不可用窗口怎么评估?