前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >flink checkpoint配置整理

flink checkpoint配置整理

作者头像
路过君
发布2022-06-01 10:02:07
6930
发布2022-06-01 10:02:07
举报
文章被收录于专栏:路过君BLOG from CSDN

版本

flink 1.14.4

代码

代码语言:javascript
复制
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

// 启用 checkpoint,设置触发间隔(两次执行开始时间间隔)
env.enableCheckpointing(3000);
// 模式支持EXACTLY_ONCE()/AT_LEAST_ONCE()
env.getCheckpointConfig().setCheckpointingMode(CheckpointingMode.EXACTLY_ONCE);
// 存储位置,FileSystemCheckpointStorage(文件存储)
env.getCheckpointConfig().setCheckpointStorage(new FileSystemCheckpointStorage("file:///c:/cdc/checkpoint/"));
// savepoint存储位置
// env.setDefaultSavepointDirectory("file:///c:/cdc/checkpoint/");
// 超时时间,checkpoint没在时间内完成则丢弃
env.getCheckpointConfig().setCheckpointTimeout(10000L);
// 同时并发数量
env.getCheckpointConfig().setMaxConcurrentCheckpoints(2); 
// 最小间隔时间(前一次结束时间,与下一次开始时间间隔)
env.getCheckpointConfig().setMinPauseBetweenCheckpoints(1000); 
// 外部checkpoint(例如文件存储)清除策略
env.getCheckpointConfig().setExternalizedCheckpointCleanup(CheckpointConfig.ExternalizedCheckpointCleanup.RETAIN_ON_CANCELLATION);

CheckpointingMode

checkpoint模式

描述

EXACTLY_ONCE

每条数据只会被处理一次

AT_LEAST_ONCE

至少执行一次

ExternalizedCheckpointCleanup

外部checkpoint清除策略

描述

DELETE_ON_CANCELLATION

取消job时删除,只有job执行失败的场景会保留checkpoint

RETAIN_ON_CANCELLATION

取消job时保留

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2022-05-31,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 版本
  • 代码
    • CheckpointingMode
      • ExternalizedCheckpointCleanup
      相关产品与服务
      文件存储
      文件存储(Cloud File Storage,CFS)为您提供安全可靠、可扩展的共享文件存储服务。文件存储可与腾讯云服务器、容器服务、批量计算等服务搭配使用,为多个计算节点提供容量和性能可弹性扩展的高性能共享存储。腾讯云文件存储的管理界面简单、易使用,可实现对现有应用的无缝集成;按实际用量付费,为您节约成本,简化 IT 运维工作。
      领券
      问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档