Flink Web UI有一个出色的背压部分。但我看不到任何指标,由普罗米修斯记者给出,可以用来检测背压的相同方式为Grafana仪表盘。 ? 有没有办法在Flink Web UI之外获得相同的指标?使用此处描述的指标https://ci.apache.org/projects/flink/flink-docs-stable/monitoring/metrics.html。或者甚至有一个普罗米修斯刮刀来抓取web api?
我正在运行以RocksDB作为我的状态后端的Apache的欺诈检测器示例。我想知道Apache需要多长时间来检查状态。
我的方法是在检查点功能之前和之后打印时间。
我找不到函数/类或任何代码来检查我试图通过IDE调试的状态,但是没有结果。
到目前为止,这就是我所经历的:
/*
* Licensed to the Apache Software Foundation (ASF) under one
* or more contributor license agreements. See the NOTICE file
* distributed with this work for a
我设置了一个Flink工作,向Kafka主题写一些消息。它使用FlinkKafakProducer作为接收器。我验证了输出Kafka主题中写入了消息,但Flink指标numRecordsOut始终显示0。同样,在Flink Web UI中,发送的字节也始终显示0B。
记录输出数量不能反映实际数量的原因是什么?
使用flink版本1.13.1
我写了一个自定义的度量报告,但在我的flink中似乎不起作用。启动flink时,JobManager显示警告日志,如下所示:
2021-08-25 14:54:06,243 WARN org.apache.flink.runtime.metrics.ReporterSetup [] - The reporter factory (org.apache.flink.metrics.kafka.KafkaReporterFactory) could not be found for reporter kafka. Available f
我使用Flink v.1.13.2来管理一个工作经理,三个任务经理。
由于某些原因(我无法找出原因),任务管理器连接正在丢失。下面是我找到的日志:
2022-02-17 21:19:55,891 INFO org.apache.flink.runtime.executiongraph.ExecutionGraph [] - Sink: Print to Std. Out (13/32) (f0ff88713cc3ff5ce39e7073468abed4) switched from RUNNING to FAILED on 1.2.3.5:39309-f61daa @ serve
我使用EMR5.30.0并尝试使用以下命令提交Flink (1.10.0)作业
flink运行-m纱线-集群/home/hadoop/flink-测试-0.0.1-SNAPSHOT.jar
我得到了以下错误:
Caused by: org.apache.flink.yarn.YarnClusterDescriptor$YarnDeploymentException: The YARN application unexpectedly switched to state FAILED during deployment.
在遍历了工人节点上的日志和作业管理器日志之后,似乎出现了端口冲突。
20
我试图连接卡夫卡与Flink和运行通过sql-client.sh。但是,无论我如何处理.yaml和库,我都会得到错误:
Exception in thread "main" org.apache.flink.table.client.SqlClientException: Unexpected exception. This is a bug. Please consider filing an issue.
at org.apache.flink.table.client.SqlClient.startClient(SqlClient.java:201)
我有一个在Spring应用程序中运行的Flink应用程序。应用程序无法在Flink集群中作为jar运行。我能够将应用程序作为一个jar运行在我的本地windows计算机(迷你集群)上。
异常堆栈跟踪如下所示:
org.apache.flink.client.program.ProgramInvocationException: The main method caused an error: null
at org.apache.flink.client.program.PackagedProgram.callMainMethod(PackagedProgram.java:54
使用Scala2.12运行Flink 1.9.0并尝试使用将数据发布到Kafka,在本地调试时一切正常。一旦我将作业提交到集群,就会在运行时得到以下java.lang.LinkageError,它无法运行作业:
java.lang.LinkageError: loader constraint violation: loader (instance of org/apache/flink/util/ChildFirstClassLoader) previously initiated loading for a different type with name "org/apache/
我正在尝试从python SDK运行一个基本的字数束管道,并在AWS EMR上使用flink yarn会话。我同时使用了flink runner和便携runner,得到了下面列出的两个不同的错误。这两种类型的运行器的作业都会显示在flink UI中,并在我的笔记本电脑上使用本地flink会话成功运行。 使用FlinkRunner时,作业以BeamApp-hadoop-0617202523-14894e58的身份运行,并显示错误: ERROR:root:java.lang.NoClassDefFoundError: Could not initialize class org.apache.b
我刚刚使用maven原型(即模板)创建了新的Flink项目(查看文章)。
mvn archetype:generate \
-DarchetypeGroupId=org.apache.flink \
-DarchetypeArtifactId=flink-quickstart-java
1.14.4是目前的版本。该项目可以编译。但是当运行BatchJob或StreamingJob时
public class BatchJob {
public static void main