过去无论是在生产中使用，还是调研 Apache Flink，总会遇到一个问题：如何访问和更新 Flink 保存点（savepoint）中保存的 state？...Apache Flink 1.9 引入了状态处理器（State Processor）API，它是基于 DataSet API 的强大扩展，允许读取，写入和修改 Flink 的保存点和检查点（checkpoint...例如，用户可以创建正在运行的流处理应用程序的保存点，并使用批处理程序对其进行分析，以验证该应用程序的行为是否正确。...MyApp 的保存点或检查点均由所有状态的数据组成，这些数据的组织方式可以恢复每个任务的状态。在使用批处理作业处理保存点（或检查点）的数据时，我们脑海中需要将每个任务状态的数据映射到数据集或表中。...operator 的所有 keyed state 都映射到一个键值多列表，该表由一列 key 和与每个 key state 映射的一列值组成。下图显示了 MyApp 的保存点如何映射到数据库。 ?
Flink 检查点的核心作用是确保状态正确，即使遇到程序中断，也要正确。记住这一基本点之后，我们用一个例子来看检查点是如何运行的。Flink 为 用户提供了用来定义状态的工具。...保存点 状态版本控制 检查点由 Flink 自动生成，用来在故障发生时重新处理记录，从而修正状 态。...保存点与检查点的工作方式完全相同，只不过它由用户通过 Flink 命令行工 具或者 Web 控制台手动触发，而不由 Flink 自动触发，用户可以从保存点重启作业，而不用从头开始。...对保存点的另一种理解是，它在明确的时间点保存应用程序状态的版本。 在图中，v.0 是某应用程序的一个正在运行的版本。我们分别在 t1 时刻和 t2 时刻触发了保存点。...举例来说， 可以修改应用程序的代码（假设称新版本为 v.1），然后从t1 时刻开始运行 改动过的代码。 使用保存点更新Flink 应用程序的版本。新版本可以从旧版本生成的一个 保存点处开始执行.
Flink 检查点的核心作用是确保状态正确，即使遇到程序中断，也要正确。 记住这一基本点之后，我们用一个例子来看检查点是如何运行的。Flink 为 用户提供了用来定义状态的工具。...保存点 状态版本控制 检查点由 Flink 自动生成，用来在故障发生时重新处理记录，从而修正状 态。...保存点与检查点的工作方式完全相同，只不过它由用户通过 Flink 命令行工 具或者 Web 控制台手动触发，而不由 Flink 自动触发，用户可以从保存点重启作业，而不用从头开始。...对保存点的另一种理解是，它在明确的时间点保存应用程序状态的版本。 ? 在图中，v.0 是某应用程序的一个正在运行的版本。我们分别在 t1 时刻和 t2 时刻触发了保存点。...举例来说， 可以修改应用程序的代码（假设称新版本为 v.1），然后从t1 时刻开始运行 改动过的代码。 ? 使用保存点更新Flink 应用程序的版本。新版本可以从旧版本生成的一个 保存点处开始执行.
当作业从故障中自动恢复或使用保存点手动恢复时，这些起始位置配置方法不会影响起始位置。在恢复时，每个 Kafka 分区的起始位置由存储在保存点或检查点中的偏移量确定。...如果作业失败，Flink 会从最新检查点的状态恢复流处理程序，并从保存在检查点中的偏移量重新开始消费来自 Kafka 的记录。 因此，检查点间隔定义了程序在发生故障时最多可以回退多少。...当作业开始运行，首次检索分区元数据后发现的所有分区会从最早的偏移量开始消费。 默认情况下，分区发现是禁用的。...当使用 Flink 1.3.x 之前的版本，消费者从保存点恢复时，无法在恢复的运行启用分区发现。如果要启用，恢复将失败并抛出异常。...在这种情况下，为了使用分区发现，需要在 Flink 1.3.x 版本中生成保存点，然后再从中恢复。
，也可以在Mesos集群上运行，还可以在单机上运行（这对于调试Flink应用程序来说非常有用） 图14：Flink技术栈的核心组成部分。...Flink用户还可以通过另一个特性有意识地管理状态版本，这个特性叫作保存点（savepoint） 保存点与检查点的工作方式完全相同，只不过它由用户通过Flink命令行工具或者Web控制台手动触发，而不由...和检查点一样，保存点也被保存在稳定存储中 对保存点的另一种理解是，它在明确的时间点保存应用程序状态的版本 图5-9：手动触发的保存点（以圆圈表示）在不同时间捕获正在运行的Flink应用程序的状态 图5...-10：使用保存点更新Flink应用程序的版本。...新版本可以从旧版本生成的一个保存点处开始执行 保存点可用于应对流处理作业在生产环境中遇到的许多挑战 应用程序代码升级 Flink版本更新 维护和迁移 假设模拟与恢复 A/B测试 图5-11：在该应用程序架构中
其他框架 CSA中的日志聚合框架和作业测试器框架还使您能够创建更可靠的Flink应用程序进行生产。 ? 什么是Apache Flink？ Flink是一个分布式处理引擎和一个可伸缩的数据分析框架。...Flink的核心功能 架构 任务执行过程的两个主要组件是作业管理器和任务管理器。主节点上的作业管理器启动工作节点。在工作节点上，任务管理器负责运行。任务管理器还可以同时运行多个任务。...您可以使用Flink将应用程序的状态本地存储在状态后端中，以确保在访问已处理数据时降低延迟。您还可以创建检查点和保存点，以在持久性存储上对流式应用程序进行容错备份。 ?...要跟踪基于事件时间的应用程序的时间，可以使用水印。 ? 检查点和保存点 可以创建检查点和保存点，以使Flink应用程序在整个管道中容错。Flink包含一个容错机制，该机制可以连续创建数据流的快照。...快照不仅包括数据流，还包括附加的状态。如果发生故障，则选择最新快照，然后系统从该检查点恢复。这保证了可以始终保持计算结果的一致性。当检查点由Flink创建和管理时，保存点由用户控制。
作业管理器, 任务管理器, 客户端 Flink运行时(runtime)由两种类型的进程组成： (1) 作业管理器JobManagers(也称为masters)协调分布式运行。...除了定义保存状态的数据结构之外，后端状态还实现了获取键/值状态的时间点快照逻辑并将该快照存储为检查点的一部分。 ? 5. 保存点 用Data Stream API编写的程序可以从保存点恢复执行。...保存点允许更新你的程序和你的Flink集群，而不会丢失任何状态。 保存点是手动触发的检查点，它会捕获程序的快照并将其写入后端状态。他们依赖于常规检查点机制。...保存点与这些定期检查点类似，只不过它们是由用户触发的，不会在新检查点完成时自动失效。...原文:https://ci.apache.org/projects/flink/flink-docs-release-1.4/concepts/runtime.html
为了防止发生故障时丢失数据，状态后端会定期将其内容快照保存到预先配置的持久性存储中。该RocksDB[1]状态后端（即RocksDBStateBackend）是Flink中的三个内置状态后端之一。...状态在Flink 为了更好地了解Flink中的状态和状态后端，区分运行中状态和状态快照非常重要。运行中状态（也称为工作状态）是Flink作业正在处理的状态。...状态快照（即检查点[3]和保存点[4]）存储在远程持久性存储中，用于在作业失败的情况下还原本地状态。选择适合生产部署的状态后端取决于系统的可伸缩性，吞吐量和延迟要求。 什么是RocksDB？...如果Flink作业的状态太大而无法容纳在JVM堆上，则您对增量检查点感兴趣，或者希望具有可预测的延迟，则应使用RocksDBStateBackend。...[4] 保存点: https://ci.apache.org/projects/flink/flink-docs-stable/ops/state/savepoints.html#what-is-a-savepoint-how-is-a-savepoint-different-from-a-checkpoint
我们在各种类型的流处理应用程序上对Flink性能进行测试，并通过在Apache Storm（一种广泛使用的低延迟流处理器）上运行相同的实验来进行对比。 1....流式架构的演变 在流处理中保证高性能同时又要保证容错是比较困难的。在批处理中，当作业失败时，可以容易地重新运行作业的失败部分来重新计算丢失的结果。这在批处理中是可行的，因为文件可以从头到尾重放。...数据流是无穷无尽的，没有开始点和结束点。带有缓冲的数据流可以进行重放一小段数据，但从最开始重放数据流是不切实际的（流处理作业可能已经运行了数月）。...我们在30台机器的集群中运行此作业，其系统配置与以前相同。Flink实现了每核每秒大约720,000个事件的吞吐量，启动检查点后降至690,000。...我们在一个30节点的集群中运行这个程序，其中 YARN chaos monkey 进程每5分钟杀死一个随机的YARN容器。
但是，你可以配置检查点定期持久化存储在外部系统中，类似于保存点(savepoints)。这些外部持久化的检查点将其元数据写入持久性存储中，即使在作业失败时也不会自动清除。...这样，如果你的作业失败时，你会有一个检查点用于恢复作业。...检查点状态只有在作业失败时才可用。 2.1 目录结构 与保存点类似，外部检查点由元数据文件组成，一些其他数据文件（取决于状态后端）。...2.3 从外部检查点恢复 作业可以通过使用检查点的元数据文件从外部检查点中恢复，就像从保存点恢复一样（请参阅保存点恢复）。...Checkpoints 外部检查点 savepoints 保存点 原文:https://ci.apache.org/projects/flink/flink-docs-release-1.4/ops
保存点：版本化状态 在 Flink 中，我们引入了保存点功能，可以解决上述问题以及未来更多问题。保存点可以从正在运行的 Flink 作业上获取，实质上是在一个时间点上定义可以从外部访问的作业的快照。...包含当前正在从数据源读取数据的偏移量，以在这个偏移量处的程序状态。在内部，保存点只是 Flink 普通的定期检查点，以保证在发生故障时的正确性。主要区别是： 保存点可以手动触发。...通过命令行使用指定 JobID 获取正在运行作业的保存点，只需运行: flink savepoint JobID 上述会返回存储保存点的路径(默认配置文件系统，例如本地，HDFS，S3等)。...要从保存点恢复作业，只需运行如下即可: flink run -s pathToSavePoint jobJar 使用保存点，不必从头开始重新读取事件流以重新填充 Flink 作业的状态，因为你可以随时获取一致性快照并从该检查点恢复...Flink 版本升级：升级 Flink 本身也变得更容易，因为你可以获取正在运行数据流的保存点并使用升级后的 Flink 版本从保存点重新读取它们。
确保您作业中使用的Kafka Consumer和/或Kafka Producer分配了唯一标识符（uid）： 使用stop with savepoint功能获取保存点（例如，使用stop --withSavepoint...请注意，当作业从故障中自动恢复或使用保存点手动恢复时，这些起始位置配置方法不会影响起始位置。在恢复时，每个Kafka分区的起始位置由存储在保存点或检查点中的偏移量确定。...启用此函数后，Flink的检查点将在检查点成功之前等待检查点时的任何动态记录被Kafka确认。这可确保检查点之前的所有记录都已写入Kafka。...如果作业失败，Flink会将流式程序恢复到最新检查点的状态，并从存储在检查点中的偏移量开始重新使用来自Kafka的记录。 因此，绘制检查点的间隔定义了程序在发生故障时最多可以返回多少。...该作业在给定的时间间隔内定期绘制检查点。 状态将存储在配置的状态后端。 此刻未正确支持检查点迭代流数据流。 如果“force”参数设置为true，则系统仍将执行作业。
轻量级 对于长期运行的Flink，其检查点的状态可能高达TB级，生成和保存检查应用程序的检查点成本非常高。...所以Flink提供了检查点的执行异步和增量检查点，以便尽量降低生成和保存检查点带来的计算负荷，避免数据处理的延迟异常变大和吞吐量的短暂剧降。...1.3、高吞吐、低延迟 Flink借助轻量级分布式快照机制，能定时生成分布式快照，并保存到外部存储中。检查点之间的数据处理被当做是原子的。如果失败，直接回到上一个检查点重新执行。...1.4、大规模复杂计算 有状态计算 轻量级容错 1.5、多平台部署 Flink是一个分布式计算系统，可以与常见的集群管理器（如Hadoop Yarn、K8s）集成，也可以在物理服务器上作为独立集群运行...数据处理：包含了开发层面、运行层面的数据处理抽象。如 Join、Filter等。 作业调度：调度流批作业的执行。 容错：提供了集群级、应用级容错处理机制，保障集群、作业的可靠运行。
背景 之前有想过系统地来一番flink源码分析系列，谁曾想工作中需要完成的需求有些多，完整的flink源码分析系列只能一再往后拖了。...检查点:当接收到检查点屏障时，Operator的snapshotState()方法会在上面描述的其他方法中异步调用。检查点在处理阶段执行，即Operator打开之后和关闭之前。...这是在setInitialState()中完成的，在两种情况下特别重要： 1.当任务正在从失败中恢复并从最后一个成功的检查点重新启动时;2.当从保存点(savepoint[5])恢复时。...每个有状态Operator都应该覆盖这个方法，并且应该包含状态初始化逻辑，无论是第一次执行作业时，还是任务从失败中恢复或使用保存点时。...在执行检查点时，任务仍然可以接收输入数据，但数据将被缓存，并仅在检查点成功完成后才被下游处理和发送。 中断执行 在前面的部分中，我们描述了一直运行到完成的任务的生命周期。
Oceanus对Flink作业运行时的多个运行指标进行采集，包括Task Manger的内存，I/O和GC等。...一方面Flink将程序的状态保存在本地的内存或者RocksDB中，用户不需要通过网络远程访问状态数据，因此可以获得较好的作业性能。...在任务发生故障时，任务可以从上次备份的状态恢复，而不必从头开始重新执行。通过检查点机制，Flink可以保证在发生故障时，仍然可以实现Exactly Once的数据传输。...仅仅依靠Flink的检查点机制只能够保证在Flink作业内部的Exactly Once的数据传输，而并不能保证在整个数据接入链路中端到端的Exactly Once的传输语义。...如果我们将Flink收到的数据直接写到下游的存储系统，那么当Flink发生故障并从故障中恢复时，从上次检查点之后被写到下游存储系统中的数据将被重复，导致后续数据分析发生误差。
Apache Flink Flink 是一个计算框架和分布式处理引擎，主要用于无边界与有边界数据流上进行有状态的计算，Flink 能在所有常见集群环境中运行，并且能以内存速度和任意规模进行计算...支持全量、增量订阅及自动切换：能进行全量与增量自动切换，支持 Exactly-once 语义，支持无锁并发读取，支持从检查点、保存点恢复， 断点续传，保证数据的准确性。...任务监控 通过 DolphinScheduler 调度的任务，在 Dinky 计算平台中也可以实时看到作业的运行情况。...当前如果源库 DDL 发生变动时，通常只能通过从恢复点重启 CDCSOURCE 任务来自动映射变动后的 DDL。...五、未来规划 Dinky Roadmap 多租户及角色权限的实现：需要一个多租户的能力来分离不同数据团队或项目间的业务数据，需要角色权限来授权作业、 资源等使用，满足企业的基本管理需求。
默认情况下，配置文件 flink-conf.yaml 为所有Flink作业决定其状态终端。 但是，默认的状态终端配置也可以被每个作业的配置覆盖，如下所示。...在进行检查点操作时，状态终端对状态进行快照，并将其作为检查点确认消息的一部分发送给 JobManager（master），并将存储在其堆上。...FsStateBackend 将正在使用的数据保存在 TaskManager 的内存中。在进行检查点操作时，将状态快照写入配置的文件系统文件和目录中。...较小的元数据存储在 JobManager 的内存中（或者在高可用性模式下，存储在元数据检查点中）。 FsStateBackend 默认使用异步快照，以避免在写入状态检查点时阻塞处理管道。...进行检查点操作时，整个 RocksDB 数据库进行检查点操作存储到配置的文件系统和目录中。较小的元数据存储在 JobManager 的内存中（或者在高可用性模式下，存储在元数据检查点中）。
在处理包含无限多键的数据时，要考虑到 keyed 状态保留策略（通过 TTL 定时器来在给定的时间之后清理未使用的数据）是很重要的。...虽然这对于测试和少量键的数据来说是很好的选择，但如果在生产环境中遇到无限多键值时，会引发问题。由于状态是对你隐藏的，因此你无法设置 TTL，并且默认情况下未配置任何 TTL。...检查一下当前YARN集群的状态、正在运行的YARN App以及Flink作业所处的队列，释放一些资源或者加入新的资源。...Skipping current checkpoint 在当前检查点还未做完时，收到了更新的检查点的barrier，表示当前检查点不再需要而被取消掉，一般不需要特殊处理。 2....Flink的状态是按key组织并保存的，如果程序逻辑内改了keyBy()逻辑或者key的序列化逻辑，就会导致检查点/保存点的数据无法正确恢复。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
