开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

创建检查点/保存点失败后，Flink任务管理器停止工作(100% cpu使用率)

在Flink中，检查点（Checkpoint）是一种机制，用于实现容错性和恢复性。当Flink任务执行过程中发生故障时，检查点可以保存任务的状态信息，包括输入数据、中间结果和算子状态等。而保存点（Savepoint）是检查点的一种特殊形式，它可以手动创建并保存任务的状态，以便在需要时进行恢复。

当创建检查点或保存点失败后，可能会导致Flink任务管理器停止工作并且CPU使用率达到100%。这种情况可能由以下原因引起：

资源不足：创建检查点或保存点可能需要大量的计算和存储资源。如果任务管理器的资源不足，可能会导致任务管理器停止工作并且CPU使用率升高。
网络问题：创建检查点或保存点需要将任务的状态信息传输到持久化存储介质中。如果网络出现问题，可能导致传输失败，进而导致任务管理器停止工作。
存储介质故障：创建检查点或保存点时，任务的状态信息通常会被写入分布式文件系统或对象存储等持久化存储介质中。如果存储介质发生故障，可能导致写入失败，从而导致任务管理器停止工作。

针对这种情况，可以采取以下措施进行排查和解决：

检查资源配置：确保任务管理器的计算和存储资源足够满足创建检查点或保存点的需求。可以通过增加任务管理器的数量或调整其配置来提供更多的资源。
检查网络连接：确保网络连接正常，并且任务管理器可以正常访问持久化存储介质。可以通过检查网络配置、防火墙设置等来解决网络问题。
检查存储介质：确保分布式文件系统或对象存储等持久化存储介质正常工作，并且有足够的可用空间。可以通过检查存储介质的状态、日志等来解决存储介质故障问题。

对于Flink任务管理器停止工作的具体原因和解决方法，建议参考腾讯云Flink相关文档和资源：

Flink官方文档：https://ci.apache.org/projects/flink/flink-docs-release-1.14/
腾讯云Flink产品介绍：https://cloud.tencent.com/product/flink
腾讯云Flink产品文档：https://cloud.tencent.com/document/product/849

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

Flink分布式运行时环境

---- Flink分布式运行时环境 Tasks and Operator Chains 任务和操作链 Job Managers, Task Managers, Clients 作业管理器，任务管理器，...用槽来隔离资源是为了让子任务执行时不用和其它作业的子任务竞争任务管理器管理的内存，而是给每个执行子任务预留了一定数量的内存。提到的一点是这里没有CPU隔离。目前执行槽仅仅只为任务对内存进行隔离。...除了定义存储状态的数据接口，状态端也实现了获取kv状态时间点快照的逻辑，并且把这个快照存储作为检查点的一部分。 Savepoints 保存点用数据流API写的程序可以从一个保存点恢复执行。...保存点可以在不丢失状态的情况下更新你的程序和Flink集群。保存点Savepoints 是人工触发的检查点，保存点就是把程序的执行做个快照并且写入状态端。用常规检查点机制就可以做到这样的。...保存点和周期性的检查点是类似，但是保存点是要被用户触发的并且在新检查点完成之后不会自动过期。保存点会在下面的情况下被创建：可以通过命令行或者用 REST API撤销一个作业的时候。

8983 0

Flink 内部原理之分布式运行环境

作业管理器, 任务管理器, 客户端 Flink运行时(runtime)由两种类型的进程组成： (1) 作业管理器JobManagers(也称为masters)协调分布式运行。...请注意，这里不会对CPU进行隔离。目前任务槽只分离任务的托管内存。通过调整任务槽的数量，用户可以定义子任务与其他子任务进行隔离。...除了定义保存状态的数据结构之外，后端状态还实现了获取键/值状态的时间点快照逻辑并将该快照存储为检查点的一部分。 ? 5. 保存点用Data Stream API编写的程序可以从保存点恢复执行。...保存点允许更新你的程序和你的Flink集群，而不会丢失任何状态。保存点是手动触发的检查点，它会捕获程序的快照并将其写入后端状态。他们依赖于常规检查点机制。...保存点与这些定期检查点类似，只不过它们是由用户触发的，不会在新检查点完成时自动失效。

1.5K4 0

Flink大状态与Checkpint调优

对于 Flink 中状态较大的应用程序，这通常会将过多的资源绑定到检查点中。当手动触发保存点时，它可能与正在进行的检查点同时进行。...最大并行度定义了在重新缩放程序时（通过保存点）可以设置程序并行度的高度。 Flink 的内部簿记以 max-parallelism-many 键组的粒度跟踪并行状态。...Flink 的设计力求使最大并行度具有非常高的值变得高效，即使以低并行度执行程序也是如此。压缩 Flink 为所有检查点和保存点提供可选的压缩（默认：关闭）。...这对检查点和恢复期间的本地状态问题有影响：对于检查点，主副本必须成功，并且生成辅助本地副本的失败不会使检查点失败。如果无法创建主副本，即使已成功创建辅助副本，检查点也会失败。...如果在从副本恢复过程中出现任何问题，Flink 会透明地重试从主副本恢复任务。仅当主副本和（可选）辅助副本失败时，恢复才会失败。在这种情况下，根据配置，Flink 仍可能回退到旧的检查点。

1.2K3 2

Flink——运行在数据流上的有状态计算框架和处理引擎

显然，这不仅意味着失败后重新启动应用程序，而且还确保其内部状态保持一致，使应用程序可以像从未发生过失败那样继续进行处理。...与集群管理器集成：Flink与集群管理器紧密集成，例如Hadoop YARN，Mesos或Kubernetes。当流程失败时，新流程将自动开始以接管其工作。...Flink的保存点是一项独特而强大的功能，可以解决更新有状态应用程序的问题以及许多其他相关挑战。保存点是应用程序状态的一致快照，因此与检查点非常相似。...但是，与检查点相比，保存点需要手动触发，并且在停止应用程序时不会自动将其删除。保存点可用于启动状态兼容的应用程序并初始化其状态。保存点启用以下功能：应用程序演化：保存点可用于演化应用程序。...任务槽的作用就是分离任务的托管内存，不会发生cpu隔离。

9802 0

Cloudera中的流分析概览

Flink的核心功能架构任务执行过程的两个主要组件是作业管理器和任务管理器。主节点上的作业管理器启动工作节点。在工作节点上，任务管理器负责运行。任务管理器还可以同时运行多个任务。...任务的资源管理由Flink中的作业管理器完成。在Flink群集中，Flink作业作为YARN应用程序执行。HDFS用于存储恢复和日志数据，而ZooKeeper用于对作业进行高可用性协调。 ?...您可以使用Flink将应用程序的状态本地存储在状态后端中，以确保在访问已处理数据时降低延迟。您还可以创建检查点和保存点，以在持久性存储上对流式应用程序进行容错备份。 ?...检查点和保存点可以创建检查点和保存点，以使Flink应用程序在整个管道中容错。Flink包含一个容错机制，该机制可以连续创建数据流的快照。快照不仅包括数据流，还包括附加的状态。...如果发生故障，则选择最新快照，然后系统从该检查点恢复。这保证了可以始终保持计算结果的一致性。当检查点由Flink创建和管理时，保存点由用户控制。保存点可以描述为已执行过程的备份。 ?

1.1K2 0

全网最全系列 | Flink原理+知识点总结（4万字、41知识点，66张图）

保存点在 Flink 中叫作 Savepoint，是基于 Flink 检查点机制的应用完整快照备份机制，用来保存状态可以在另一个集群或者另一个时间点，从保存的状态中将作业恢复回来。...1000 21、当作业失败后，检查点如何恢复作业？...启动方式如下： /bin/flink -s /flink/checkpoints/03112312a12398740a87393/chk-50/_metadata 22、当作业失败后，从保存点如何恢复作业...然后barrier接着往下游发送，当统计pv的task接收到barrier后，也会暂停处理数据，将自己内存中保存的pv信息（app1，50000）（app2，10000）保存到状态后端chk-100中。...由于多个任务会共享相同的集群，因此任务间会存在竞争，比如网络带宽等。如果某个TM挂掉，上面的所有任务都会失败。其他方面：拥有提前创建的集群，可以避免每次使用的时候过多考虑集群问题。

1.9K3 1

优化 Apache Flink 应用程序的 7 个技巧！

我们还为我们使用状态保存器作为我们使用的检查点和点写入谷歌云存储（GCS）。例如确保Flink应用程序的高性能和弹性是我们的维护任务之一。这也是我们最大的。保持大型有应用程序的弹性很困难。...在部署我们的第一个应用程序时，我们发现使用工具集在调试 Flink 时使用正确： Async-profiler：为 Java 虚拟机 (JVM) 用于错误制造任务的分析工具，跟踪事件，包括 CPU 周期...Eclipse MAT：支配树在进一步探索堆和应用程序日志后，我们发现了转储记录。由于我们没有应用任何数据重组，所有任务管理器都允许使用可能最终存储在任何存储桶中的存储桶中的存储。...我们可以对这个应用程序进行简单的解决方案——只需在将写入接收器之前通过一个字符串记录一个字符串记录：通过到同一个存储文件中，我们在内存中保存了一个任务管理器的任务管理器，将有更多的任务管理器。...通过使用本地 SSD，我们注意到 SSD I/O 速度的提高同时，如果实例停机，GCP 中的本地 SSD 可能会损坏，保存Flink检查点和点，可以轻松恢复状态 6.避免动态类加载 Flink 有多种方式类以供

1.4K3 0

Flink 内核原理与实现-入门

1.2、可靠的容错能力 1、集群级容错与集群管理器集成 Flink与集群管理器紧密集成，例如Yarn、K8s。当进程挂掉时，将自动启动一个新进程来接管它工作。...轻量级对于长期运行的Flink，其检查点的状态可能高达TB级，生成和保存检查应用程序的检查点成本非常高。...所以Flink提供了检查点的执行异步和增量检查点，以便尽量降低生成和保存检查点带来的计算负荷，避免数据处理的延迟异常变大和吞吐量的短暂剧降。...1.3、高吞吐、低延迟 Flink借助轻量级分布式快照机制，能定时生成分布式快照，并保存到外部存储中。检查点之间的数据处理被当做是原子的。如果失败，直接回到上一个检查点重新执行。...JobManager：根据并行度将Flink客户端提交的Flink应用分解为子任务，从资源管理器申请所需要的的计算资源，资源具备后，开始分发任务到TaskManager执行Task,并负责应用容错，跟踪作业的执行状态

4921 0

全网最详细4W字Flink入门笔记（中）

在一个流应用程序运行时，Flink 会定期保存检查点，在检查点中会记录每个算子的 id 和状态；如果发生故障，Flink 就会用最近一次成功保存的检查点来恢复应用的状态，重新启动处理流程，就如同“读档”...除了检查点之外，Flink 还提供了“保存点”（savepoint）的功能。保存点在原理和形式上跟检查点完全一样，也是状态持久化保存的一个快照；保存点与检查点最大的区别，就是触发的时机。...检查点是由 Flink 自动管理的，定期创建，发生故障之后自动读取进行恢复，这是一个“自动存盘”的功能；而保存点不会自动创建，必须由用户明确地手动触发保存操作，所以就是“手动存盘”。...因此两者尽管原理一致，但用途就有所差别了：检查点主要用来做故障恢复，是容错机制的核心；保存点则更加灵活，可以用来做有计划的手动备份和恢复。...CheckPoint 设置为DELETE_ON_CANCELLATION：表示一旦Flink处理程序被cancel后，会删除CheckPoint数据，只有Job执行失败的时候才会保存CheckPoint

4342 1

Flink1.5发布中的新功能

当然，广播状态也可以有保存点或进行保存点恢复，就像 Flink 的其他状态一样，也具有一次性（exactly once）状态一致性保证。...2.4 任务本地状态恢复 Flink 的检查点机制将应用程序状态的副本写入到远程的持久化存储中，并在发生故障时将其加载回去。这种机制确保应用程序在发生故障时不会丢失状态。...任务本地状态恢复主要利用了这样的一个事实——作业的失败通常是由单个操作、任务管理器或机器失效引起的。在将操作状态写入远程存储时，Flink 也会在每台机器的本地磁盘上保留一份副本。...其他特性和改进 OpenStack 提供了用于在资源池上创建公共和私有云的软件。Flink 现在支持 OpenStack 的类 S3 文件系统 Swift，用于保存检查点和保存点。...应用程序可以在无需手动触发保存点的情况下进行伸缩。实际上，Flink 仍然会保存一个保存点，然后停止应用程序并重新调整并行度。

1.3K2 0

Flink重点难点：状态(Checkpoint和Savepoint)容错与两阶段提交

所谓的状态，其实指的是 Flink 程序的中间计算结果。Flink 支持了不同类型的状态，并且针对状态的持久化还提供了专门的机制和状态管理器。...Flink 本身提供了不同的状态管理器来管理状态，并且这个状态可以非常大。...从检查点恢复后，它的内部状态会和生成检查点的时候完全一致，并且会紧接着重新处理那些从之前检查点完成开始，到发生系统故障之间已经处理过的数据。...Savepoints（保存点）由于Cheakpoints是周期性自动生成的，但有些时候我们需要手动的去进行镜像保存功能，于是Flink同时还为我们提供了Savepoints来完成这个功能，Savepoints...Sink收到后也对自己的状态进行保存，之后会进行一次预提交。预提交成功后，JobManager通知每个Operator，这一轮检查点已经完成，这个时候，会进行第二次Commit。

1.3K1 0

谈谈对Flink框架中容错机制及状态的一致性的理解

Flink 故障恢复机制的核心，就是应用状态的一致性检查点，有状态流应用的一致检查点，其实就是所有任务的状态，在某个时间点的一份拷贝（一份快照）；这个时间点，应该是所有任务都恰好处理完一个相同的输入数据的时刻...在执行流应用程序期间，Flink 会定期保存状态的一致检查点，如果发生故障， Flink 将会使用最近的检查点来一致恢复应用程序的状态，并。重新启动处理流程。...恢复数据步骤：重启应用从 checkpoint 中读取状态，将状态重置开始消费并处理检查点到发生故障之间的所有数据 Flink 还提供了可以自定义的镜像保存功能，就是保存点，Flink不会自动创建保存点...，因此用户（或者外部调度程序）必须明确地触发创建操作，保存点是一个强大的功能。...除了故障恢复外，保存点可以用于：有计划的手动备份，更新应用程序，版本迁移，暂停和重启应用等。

4131 0

加速Flink布局，Pinterest的自助式故障诊断工具实践

基本任务状态区域：展示基本健康状态，例如通量、完全重启率，检查点规模和持续时间，持续检查点失败、最近一小时内的最大并发等情况。未通过健康检查的度量，会标记为“Failed”，并置顶显示。...CPU 使用率区域：巡视所有使用 CPU 资源高于指定 vcore 的容器，帮助监控并避免在多租户 Hadoop 集群中出现“不安分的邻居”（Noisy neighbor）问题。...即如果单个用户工作负载的 CPU 使用率过高，会影响到其它用户的性能和稳定性。...FlinkJobWatcher 每隔 5 分钟创建一次任务健康快照，发送给作为 Kafka Topic 的 JobSnapshot。随着 Flink 用例的不断增长，导致生成大量的日志和度量。...Canary Analysis（ACA），以及其他一些内部查看工具，它们通过运行工作节点驻留进程采集 RSS 内存、CPU 使用率等自定义度量。

7592 0

Flink重点难点：状态(Checkpoint和Savepoint)容错与两阶段提交

Flink 本身提供了不同的状态管理器来管理状态，并且这个状态可以非常大。...但是有一点需要说明的是，无论是 Keyed State 还是 Operator State，Flink 的状态都是基于本地的，即每个算子子任务维护着这个算子子任务对应的状态存储，算子子任务之间的状态不能相互访问...从检查点恢复后，它的内部状态会和生成检查点的时候完全一致，并且会紧接着重新处理那些从之前检查点完成开始，到发生系统故障之间已经处理过的数据。...Savepoints（保存点）由于Cheakpoints是周期性自动生成的，但有些时候我们需要手动的去进行镜像保存功能，于是Flink同时还为我们提供了Savepoints来完成这个功能，Savepoints...Sink收到后也对自己的状态进行保存，之后会进行一次预提交。预提交成功后，JobManager通知每个Operator，这一轮检查点已经完成，这个时候，会进行第二次Commit。

6263 0

Flink优化器与源码解析系列--内存模型详解

一个Flink程序执行流程： Client客户端提交作业Job给JobManager JobManager调起任务到TaskManager去执行任务，并管理Task任务，协调记录CheckPoint检查点...内存使用者可以以MemorySegments的形式从内存管理器中分配内存，也可以从内存管理器中保留字节并将它们的内存使用率保持在该范围内。如果未指定，则将派生它来构成总Flink内存的已配置部分。...，否则Flink启动将失败。...那么，网络内存不是百分比（1000Mb x 0.1 = 100Mb），而是总Flink内存的其余部分，该部分将在64-256Mb范围内，否则将失败。...总结本篇是对Flink内存模型及其相关知识点进行详细说明讲解，掌握这些知识后，就更快排查和解决如IllegalConfigurationException、OutOfMemoryError: Java

9512 0

Flink 状态管理

即你可以将中间的计算结果进行保存，并提供给后续的计算使用：具体而言，Flink 又将状态 (State) 分为 Keyed State 与 Operator State： 2.1 算子状态算子状态...三、检查点机制 3.1 CheckPoints 为了使 Flink 的状态具有良好的容错性，Flink 提供了检查点机制 (CheckPoints) 。...当出现异常后，Flink 就可以根据最近的一次的快照数据将所有算子恢复到先前的状态。...enableExternalizedCheckpoints( ExternalizedCheckpointCleanup.RETAIN_ON_CANCELLATION); // 如果有更近的保存点时...，是否将作业回退到该检查点 env.getCheckpointConfig().setPreferCheckpointForRecovery(true); 3.3 保存点机制保存点机制 (Savepoints

4452 0

Flink吐血总结，学习与面试收藏这一篇就够了！！！

Flink Flink 核心特点批流一体所有的数据都天然带有时间的概念，必然发生在某一个时间点。把事件按照时间顺序排列起来，就形成了一个事件流，也叫作数据流。...一致性（其本身支持Exactly-Once 语义）轻量级（检查点的执行异步和增量检查点）高吞吐、低延迟运行时架构运行时架构图 Flink 客户端提交Flink作业到Flink集群 Stream...上游Task执行完毕后开始调度执行下游的Task，读取上游的数据，执行本阶段的计算任务，执行完毕之后，调度后一个阶段的Task，依次进行调度，直到作业执行完成） Lazy_From_Sources_With_Batch_Slot_Request...JobMaster 调度执行和管理（将JobGraph转化为ExecutionGraph，调度Task的执行，并处理Task的异常） InputSplit 分配结果分区跟踪作业执行异常作业Slot资源管理 检查点与保存点...将缓存数据块写出到创建的临时文件，然后关闭该文件，确保不再写入新数据到该文件，同时开启一个新事务，执行属于下一个检查点的写入操作。 commit。

7402 0

Flink 状态管理与检查点机制

大数据技术与架构一、状态分类相对于其他流计算框架，Flink 一个比较重要的特性就是其支持有状态计算。即你可以将中间的计算结果进行保存，并提供给后续的计算使用： ?...三、检查点机制 3.1 CheckPoints 为了使 Flink 的状态具有良好的容错性，Flink 提供了检查点机制 (CheckPoints) 。...当出现异常后，Flink 就可以根据最近的一次的快照数据将所有算子恢复到先前的状态。 ?...enableExternalizedCheckpoints( ExternalizedCheckpointCleanup.RETAIN_ON_CANCELLATION); // 如果有更近的保存点时...，是否将作业回退到该检查点 env.getCheckpointConfig().setPreferCheckpointForRecovery(true); 3.3 保存点机制保存点机制 (Savepoints

7823 0

2022年最新版 | Flink经典线上问题小盘点

，后续分配可能就会变慢；（2）检查 NM 可用资源分布情况，即使集群资源使用率不高，也有可能是因为各维度资源分布不同造成，例如 1/2 节点上的内存资源接近用满 CPU 资源剩余较多，1/2 节点上的...解决方式将两个任务独立开来，作为不同的流程。结果修改之前 24个 TaskManager(CPU) 来不及消费，改完之后 20 个 CPU 可完成任务。...，如果设的太短，适当改长一点。...Flink的状态是按key组织并保存的，如果程序逻辑内改了keyBy()逻辑或者key的序列化逻辑，就会导致检查点/保存点的数据无法正确恢复。...为了不执行检查点，MySQL CDC源将保持检查点等待超时。超时检查点将被识别为失败的检查点，默认情况下，这将触发Flink作业的故障转移。

4.3K3 0

Flink 参数配置和常见参数调优

parallelsm.default 任务默认并行度，如果任务未指定并行度，将采用此设置。 web.port Flink web ui的端口号。...state.backend.fs.checkpointdir 检查点数据文件和元数据的默认目录。 state.checkpoints.dir 保存检查点目录。...fs.hdfs.hadoopconf hadoop配置文件路径（已被废弃，建议使用HADOOP_CONF_DIR环境变量） yarn.application-attempts job失败尝试次数，主要是指...high-availability.storageDir: hdfs://nameservice/flink/ha/ job manager元数据在文件系统储存的位置，zookeeper仅保存了指向该目录的指针...yarn.nodemanager.resource.cpu-vcores yarn的虚拟CPU内核数，建议设置为物理CPU核心数的2-3倍，如果设置过少，会导致CPU资源无法被充分利用，跑任务的时候CPU

2.5K1 1

点击加载更多

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭