❝本系列每篇文章都比较短小,不定期更新,从一些实际的 case 出发抛砖引玉,提高小伙伴的姿♂势水平。本文介绍 Flink sink schema 字段设计小技巧,阅读时长大概 3 分钟,话不多说,直接进入正文! ❞
如 title,直接上实践案例和使用方式。
上游 flink 任务 A 发生故障导致产出脏数据至 kafka X,并且下游消费方消费了脏数据(下游消费方按照下面两类进行划分):
首先介绍下避免以及处理上述问题的整体思路:
下文主要介绍「第 3 点」,出现上述故障时修复的方案,针对以上场景,目前有如下 3 种可选方案修复数据:
❝Note: 方案 3 需要对 Kafka X 预留一定的 buffer,否则在产出修复数据时,由于写入或读出 Kafka X 的 QPS 过高,会影响正常产出数据的任务。 ❞
有窗口场景中,sink schema 中可添加以下字段:
本文主要介绍了在 sink schema 中添加 version(版本),时间戳扩展字段的小技巧,以帮助用户在生产环境中提升实时数据故障修复效率以及可用性。