使用flink版本1.13.1
我写了一个自定义的度量报告,但在我的flink中似乎不起作用。启动flink时,JobManager显示警告日志,如下所示:
2021-08-25 14:54:06,243 WARN org.apache.flink.runtime.metrics.ReporterSetup [] - The reporter factory (org.apache.flink.metrics.kafka.KafkaReporterFactory) could not be found for reporter kafka. Available f
我使用Flink v.1.13.2来管理一个工作经理,三个任务经理。
由于某些原因(我无法找出原因),任务管理器连接正在丢失。下面是我找到的日志:
2022-02-17 21:19:55,891 INFO org.apache.flink.runtime.executiongraph.ExecutionGraph [] - Sink: Print to Std. Out (13/32) (f0ff88713cc3ff5ce39e7073468abed4) switched from RUNNING to FAILED on 1.2.3.5:39309-f61daa @ serve
我试图连接卡夫卡与Flink和运行通过sql-client.sh。但是,无论我如何处理.yaml和库,我都会得到错误:
Exception in thread "main" org.apache.flink.table.client.SqlClientException: Unexpected exception. This is a bug. Please consider filing an issue.
at org.apache.flink.table.client.SqlClient.startClient(SqlClient.java:201)
使用Scala2.12运行Flink 1.9.0并尝试使用将数据发布到Kafka,在本地调试时一切正常。一旦我将作业提交到集群,就会在运行时得到以下java.lang.LinkageError,它无法运行作业:
java.lang.LinkageError: loader constraint violation: loader (instance of org/apache/flink/util/ChildFirstClassLoader) previously initiated loading for a different type with name "org/apache/
我有一个在Spring应用程序中运行的Flink应用程序。应用程序无法在Flink集群中作为jar运行。我能够将应用程序作为一个jar运行在我的本地windows计算机(迷你集群)上。
异常堆栈跟踪如下所示:
org.apache.flink.client.program.ProgramInvocationException: The main method caused an error: null
at org.apache.flink.client.program.PackagedProgram.callMainMethod(PackagedProgram.java:54
我刚刚使用maven原型(即模板)创建了新的Flink项目(查看文章)。
mvn archetype:generate \
-DarchetypeGroupId=org.apache.flink \
-DarchetypeArtifactId=flink-quickstart-java
1.14.4是目前的版本。该项目可以编译。但是当运行BatchJob或StreamingJob时
public class BatchJob {
public static void main
我正在尝试在一个简单的Flink管道中使用TestContainers测试Cassandra Sink,该管道使用DataStreamTestBase进行测试: public class CassandraPojoSinkExampleTest extends DataStreamTestBase {
@Rule
public CassandraContainer cassandra = new CassandraContainer<>().withInitScript("testInit3.cql")
.withCrea
我尝试将我的应用程序部署到cli纱线上的flink,不幸的是,它在下面的例外情况下失败了
java.lang.NoClassDefFoundError: Lredis/clients/jedis/JedisCluster;
at java.lang.Class.getDeclaredFields0(Native Method)
at java.lang.Class.privateGetDeclaredFields(Class.java:2583)
at java.lang.Class.getDeclaredFields(Class.java:1916)
at o
我已经从postgresql DB.then加载了一个规则表作为Flink表,读取kafka msg,并根据这些规则对msg进行分类。代码如下所示 val senv = StreamExecutionEnvironment.getExecutionEnvironment
senv.enableCheckpointing(5000)
val stenv=StreamTableEnvironment.create(senv)
val streamsource=senv.createInput(inputFormat)
stenv.registerDataS
我在Apache 3.0 (定制Greeter示例)中有一个嵌入式模块,它使用JSON序列化事件。当试图从入口反序列化route()消息时,我得到了一个例外,即我的自定义类型不能转换为protobuf (是的,它不是) --但是应该是这样吗?我的意思是,我试图使用3.x文档,但没有发现对要路由的类型有任何限制。
在这个问题上有什么暗示或提示吗?
谢谢
// The custom type (Bean-style and all)
public final class Message {
@JsonProperty private String name;
@JsonProperty p