获取以下flink作业提交错误, @centos1 flink-1.10.0]$ ./bin/flink run -m 10.0.2.4:8081 ./examples/batch/WordCount.jar --input file:///storage/flink-1.10.0/test.txt --output file:///storage/flink-1.10.0/wordcount_out
Job has been submitted with JobID 33d489aee848401e08c425b053c854f9
----------------------------
我尝试将我的Flink应用程序部署到AWS中。此应用程序使用Apache进行反序列化/序列化传入消息。我的应用程序在本地机器上运行良好,但是当我将它部署到AWS时,我有异常(在CloudWatch日志中):Caused by: java.io.InvalidClassException: org.apache.avro.specific.SpecificRecordBase; local class incompatible: stream classdesc serialVersionUID = 4445917349737100331, local class serialVersionUI
我正在尝试向我的flink集群提交一个作业,但我一直遇到以下错误:
2021-05-03 17:14:32
java.lang.NoSuchMethodError: org/apache/flink/api/common/state/OperatorStateStore.getSerializableListState(Ljava/lang/String;)Lorg/apache/flink/api/common/state/ListState; (loaded from file:/opt/flink/lib/flink-dist_2.11-1.11.3.jar by jdk.interna
我正在开发一个沉入Kafka的Flink应用程序。我创建了一个默认池大小为5的Kafka生产者。我使用以下配置启用了检查点:
env.enableCheckpointing(1800000);//checkpointing for every 30 minutes.
// set mode to exactly-once (this is the default)
env.getCheckpointConfig().setCheckpointingMode(CheckpointingMode.EXACTLY_ONCE);
// make sure 500 m
我们已经用1.4版本部署了一个新的Flink实例。在尝试从旧的1.2.1部署恢复保存点时,尝试还原的所有作业都会出现相同的错误:
org.apache.flink.runtime.execution.SuppressRestartsException: Unrecoverable failure. This suppresses job restarts. Please check the stack trace for the root cause.
at org.apache.flink.runtime.jobmanager.JobManager$$anonfun$org$apac
我尝试将我的应用程序部署到cli纱线上的flink,不幸的是,它在下面的例外情况下失败了
java.lang.NoClassDefFoundError: Lredis/clients/jedis/JedisCluster;
at java.lang.Class.getDeclaredFields0(Native Method)
at java.lang.Class.privateGetDeclaredFields(Class.java:2583)
at java.lang.Class.getDeclaredFields(Class.java:1916)
at o
我有一个类可以满足作为POJO处理的需求,这是流作业中的主要传输类(它只包含原语和Map<String, String>)。我添加了一个新的String字段和相应的getter和setter,但是如果我停止使用带有保存点的前一个类的作业,并尝试使用它重新启动新类,则会得到一个异常:
java.lang.Exception: Exception while creating StreamOperatorStateContext.
at org.apache.flink.streaming.api.operators.StreamTaskStateInitialize
我正在使用Flink 1.13.1,并试图用10k记录的RPS(每秒速率)将数据写入kafka。我有一个由30个经纪人组成的kafka集群,我的flink工作做了一个过滤器操作员,只将数据汇到kafka。下面是我的生产者设置,最初我有5个接收器主题分区,但现在10个,我仍然得到同样的问题。另外,我尝试将request.timeout.ms设置为1分钟,而不是卡夫卡默认的30秒,但仍然得到了120001 ms has passed since batch creation。由于此错误,检查点失败。检查点大小仅为107 is,因为flink只向kafka提交偏移。作业并行性为36。这是纳卡的属性和
我正在从事一个项目使用java和flink来建立一个推文数据流。当我运行程序时,我收到这个错误:
WARNING: An illegal reflective access operation has occurred
WARNING: Illegal reflective access by org.apache.flink.core.memory.HybridMemorySegment (file:/home/haydn/.m2/repository/org/apache/flink/flink-core/1.4.2/flink-core-1.4.2.jar) to field java.
我的Flink管道目前使用一个Pojo,其中包含一些列表和映射( Strings),按照
public class MyPojo {
private List<String> myList = new ArrayList<>();
private OtherPojo otherPojo = new OtherPojo();
// getters + setters...
}
public class OtherPojo {
private Map<String, String> myMap = new HashMap<