我们试图迁移到Flink 1.11,从1.10中的保存点恢复作业。作业代码没有更改,只将依赖项的Flink版本更新为1.11 (在SBT中,我们使用Scala)并重新构建jar。所有运算符都有uids,如果在1.10集群上运行,作业将正确地从该保存点恢复,我们将得到以下异常,并且不知道:
java.lang.Exception: Exception while creating StreamOperatorStateContext.
at org.apache.flink.streaming.api.operators.StreamTaskStateInitializerImpl.st
我们已经用1.4版本部署了一个新的Flink实例。在尝试从旧的1.2.1部署恢复保存点时,尝试还原的所有作业都会出现相同的错误:
org.apache.flink.runtime.execution.SuppressRestartsException: Unrecoverable failure. This suppresses job restarts. Please check the stack trace for the root cause.
at org.apache.flink.runtime.jobmanager.JobManager$$anonfun$org$apac
我正在尝试用HDFS中的Apache 1.2创建一个保存点。我在我的机器上的本地集群中运行Flink。HDFS正在虚拟机中运行。我设法在Flink流作业中写入HDFS,但保存点不会这样做。我的保存点路径是hdfs://hadoop:54310/savepoint/testpoint,在提交任务之前,我在UI中指定了它。
它提供了以下错误消息:(无效路径)
org.apache.flink.client.program.ProgramInvocationException: Failed to submit the job to the job manager
at org.apache
当我在windowfunction之前使用countwindow时,在运行代码后我得到了类似State migration is currently not supported的错误,详细消息是
org.apache.flink.util.FlinkRuntimeException: org.apache.flink.util.StateMigrationException: State migration is currently not supported.
at org.apache.flink.runtime.state.heap.HeapKeyedStateBackend.c
我是flink的新手,我部署了我的flink应用程序,它基本上执行简单的模式匹配。它部署在库伯奈特斯集群,拥有1 JM和6 TM。我每10分钟发送一次4.4k和200k大小的消息,并执行负载测试。我添加了重新启动策略和检查指向,如下所示,我没有显式地使用代码中的任何状态,因为不需要它。
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
// start a checkpoint every 1000 ms
env.enableCheckpointing(inter
我最近将我们的Flink从1.9.0迁移到了没有HA作业集群的1.11.1。我面临以下错误,它导致JobManager在每隔5分钟后失败,并且Flink作业通过AWS ECS卡在这些重新启动循环中。 在升级1.11.1后,它曾经在Flink 1.9.0中工作过,但现在不行了。因为我没有JM,所以我为每个flink作业生成固定的--job-id,而不是默认的id 00000000000。我是Flink的新手。 org.apache.flink.runtime.checkpoint.CheckpointException: Could not finalize the pending check
尝试使用flink应用程序从kafka主题读取avro数据。在运行flink应用程序时获得以下错误。这是我第一次与flink/kafka合作,几天来无法解决这个问题。
org.apache.flink.runtime.client.JobInitializationException:无法启动JobMaster。在org.apache.flink.runtime.jobmaster.DefaultJobMasterServiceProcess.lambda$new$0(DefaultJobMasterServiceProcess.java:97) at java.util.concurrent
我们有一个flink流作业,它读取卡夫卡的数据并将其汇到S3。我们使用flink的内部流文件接收器API来实现这一点。然而,几天后,作业失败了,无法从失败中恢复。消息说它无法从找到文件。我们想知道可能的根本原因是什么,因为我们真的不想丢失任何数据。
谢谢。
整个输出如下所示
java.io.FileNotFoundException: No such file or directory: s3://bucket_name/_part-0-282_tmp_b9777494-d73b-4141-a4cf-b8912019160e
at org.apache.flink.fs.shaded.
简单工作:kafka->flatmap->reduce->map。
作业运行正常,默认值为taskmanager.heap.mb (512 Job )。根据:this value should be as large as possible的说法。由于所讨论的机器有96 of内存,所以我将其设置为75000 (任意值)。
开始作业会产生以下错误:
Caused by: org.apache.flink.runtime.client.JobExecutionException: Job execution failed.
at org.apache.flink.runti
我正在尝试从python SDK运行一个基本的字数束管道,并在AWS EMR上使用flink yarn会话。我同时使用了flink runner和便携runner,得到了下面列出的两个不同的错误。这两种类型的运行器的作业都会显示在flink UI中,并在我的笔记本电脑上使用本地flink会话成功运行。 使用FlinkRunner时,作业以BeamApp-hadoop-0617202523-14894e58的身份运行,并显示错误: ERROR:root:java.lang.NoClassDefFoundError: Could not initialize class org.apache.b