我们已经用1.4版本部署了一个新的Flink实例。在尝试从旧的1.2.1部署恢复保存点时,尝试还原的所有作业都会出现相同的错误:
org.apache.flink.runtime.execution.SuppressRestartsException: Unrecoverable failure. This suppresses job restarts. Please check the stack trace for the root cause.
at org.apache.flink.runtime.jobmanager.JobManager$$anonfun$org$apac
我是Apache flink的新手,正在构建一个简单的应用程序,其中我从kinesis流中读取事件,例如
TestEvent{
String id,
DateTime created_at,
Long amount
}
对由id键控的上述流的字段amount执行聚合(sum)。该转换相当于SQL select sum(amount) from testevents group by id,其中testevents是到目前为止接收到的所有事件。聚合结果以flink状态存储,我希望通过API公开结果。有没有办法做到这一点?
PS:我们可以将闪烁状态存储在dynamoDB中并在那里创建一个应
尝试使用flink应用程序从kafka主题读取avro数据。在运行flink应用程序时获得以下错误。这是我第一次与flink/kafka合作,几天来无法解决这个问题。
org.apache.flink.runtime.client.JobInitializationException:无法启动JobMaster。在org.apache.flink.runtime.jobmaster.DefaultJobMasterServiceProcess.lambda$new$0(DefaultJobMasterServiceProcess.java:97) at java.util.concurrent
我们试图迁移到Flink 1.11,从1.10中的保存点恢复作业。作业代码没有更改,只将依赖项的Flink版本更新为1.11 (在SBT中,我们使用Scala)并重新构建jar。所有运算符都有uids,如果在1.10集群上运行,作业将正确地从该保存点恢复,我们将得到以下异常,并且不知道:
java.lang.Exception: Exception while creating StreamOperatorStateContext.
at org.apache.flink.streaming.api.operators.StreamTaskStateInitializerImpl.st
我正在运行flink emr作业,并获得以下结果: at org.apache.flink.client.program.rest.RestClusterClient.submitJob(RestClusterClient.java:261)
at org.apache.flink.client.program.ClusterClient.run(ClusterClient.java:483)
at org.apache.flink.streaming.api.environment.StreamContextEnvironment.execute(StreamCon
我们的一些POJO包含来自java.time接口(LocalDate,LocalDateTime)的字段。当我们的管道处理它们时,我们可以在日志中看到以下信息:
org.apache.flink.api.java.typeutils.TypeExtractor - Class class java.time.LocalDate cannot be used as a POJO type because not all fields are valid POJO fields, and must be processed as GenericType. Please read the Flink
我只想知道,在prod部署之后,有没有办法增加flink作业中的setMaxParallelism?
目前,如何将setMaxParallelism提高到更大的数目是默认的128。
目前,我得到了一个错误后,增加这个数字。
Caused by: java.lang.IllegalStateException: Failed to rollback to checkpoint/savepoint Checkpoint Metadata (version=2).
Max parallelism mismatch between checkpoint/savepoint state and new