使用flink版本1.13.1
我写了一个自定义的度量报告,但在我的flink中似乎不起作用。启动flink时,JobManager显示警告日志,如下所示:
2021-08-25 14:54:06,243 WARN org.apache.flink.runtime.metrics.ReporterSetup [] - The reporter factory (org.apache.flink.metrics.kafka.KafkaReporterFactory) could not be found for reporter kafka. Available f
在玩Flink时,我一直试图在Elasticsearch中插入数据。我的STDOUT有个错误:
Caused by: org.apache.flink.table.api.NoMatchingTableFactoryException: Could not find a suitable table factory for 'org.apache.flink.table.factories.TableSinkFactory' in
the classpath.
Reason: Required context properties mismatch.
The followi
我们感兴趣的是从连接到常规的Flink流应用程序,最好使用Table。这样做的想法是查阅Statefun在Flink中注册的表,是否有此可能,如何做才是正确的方法?
到目前为止,我的想法是在一些主函数中初始化我的表流,并注册一个有状态函数提供程序来连接到该表:
@AutoService(StatefulFunctionModule.class)
public class Module implements StatefulFunctionModule {
@Override
public void configure(Map<String, String> globalC
我们有3个java pojos,
class Foo{
int id;
String name;
List<Bar1> list1;
List<Bar2> list2;
}
class Bar1{
int id;
String field_x;
String field_y;
}
class Bar2{
int id;
String field_a;
String field_b;
}
我们的Flink工作有3 DataStreams,
class Test{
public static void main(...){
DataStream
我刚刚使用maven原型(即模板)创建了新的Flink项目(查看文章)。
mvn archetype:generate \
-DarchetypeGroupId=org.apache.flink \
-DarchetypeArtifactId=flink-quickstart-java
1.14.4是目前的版本。该项目可以编译。但是当运行BatchJob或StreamingJob时
public class BatchJob {
public static void main
我是flink和Kafka的新手。我正在尝试使用Confluent Schema注册表对avro数据进行反序列化。我已经在ec2机器上安装了flink和Kafka。此外,在运行代码之前已经创建了"test“主题。 代码路径:https://gist.github.com/mandar2174/5dc13350b296abf127b92d0697c320f2 作为实现的一部分,代码执行以下操作: 1) Create a flink DataStream object using a list of user element. (User class is avro generated
全,
我正在尝试通过如下所述的线性回归来测试Flink ML 0.10.1:
我正在使用SparseVectors而不是DenseVector,但是在尝试训练模型时遇到了这个问题:
java.lang.IllegalArgumentException: axpy only supports adding to a dense vector but got type class org.apache.flink.ml.math.SparseVector.
at org.apache.flink.ml.math.BLAS$.axpy(BLAS.scala:60)
at org.a
我使用Flink v.1.13.2来管理一个工作经理,三个任务经理。
由于某些原因(我无法找出原因),任务管理器连接正在丢失。下面是我找到的日志:
2022-02-17 21:19:55,891 INFO org.apache.flink.runtime.executiongraph.ExecutionGraph [] - Sink: Print to Std. Out (13/32) (f0ff88713cc3ff5ce39e7073468abed4) switched from RUNNING to FAILED on 1.2.3.5:39309-f61daa @ serve
我目前正在使用Flink 1.7 +gcs-连接器库。我试图让StreamingFileSink写到GCS桶中,并遇到以下异常:
我遇到了一个Jira: --但我不清楚代码是否曾经合并过。
在需要做什么方面有什么帮助是非常感谢的,以使这一工作?
java.lang.UnsupportedOperationException: Recoverable writers on Hadoop are only supported for HDFS and for Hadoop version 2.7 or newer
at org.apache.flink.runtime.fs.hdfs.Ha
我试图连接卡夫卡与Flink和运行通过sql-client.sh。但是,无论我如何处理.yaml和库,我都会得到错误:
Exception in thread "main" org.apache.flink.table.client.SqlClientException: Unexpected exception. This is a bug. Please consider filing an issue.
at org.apache.flink.table.client.SqlClient.startClient(SqlClient.java:201)
我有一个在Spring应用程序中运行的Flink应用程序。应用程序无法在Flink集群中作为jar运行。我能够将应用程序作为一个jar运行在我的本地windows计算机(迷你集群)上。
异常堆栈跟踪如下所示:
org.apache.flink.client.program.ProgramInvocationException: The main method caused an error: null
at org.apache.flink.client.program.PackagedProgram.callMainMethod(PackagedProgram.java:54
使用Scala2.12运行Flink 1.9.0并尝试使用将数据发布到Kafka,在本地调试时一切正常。一旦我将作业提交到集群,就会在运行时得到以下java.lang.LinkageError,它无法运行作业:
java.lang.LinkageError: loader constraint violation: loader (instance of org/apache/flink/util/ChildFirstClassLoader) previously initiated loading for a different type with name "org/apache/
我使用flink从kafka读取数据并将其转换为protobuf。我面临的问题是,当我运行java应用程序时,会出现以下错误。如果我将unknownFields变量名修改为其他内容,它就能工作,但是很难对所有protobuf类进行这种更改。
我还试图在阅读kafka时直接反序列化,但我不确定getProducedType()方法应该返回什么。
public static class ProtoDeserializer implements DeserializationSchema{
@Override
public TypeInformation getProduc
我是Flink的新手,我正在使用Flink KeyedBroadCastProcessFunction进行模式评估,一些类似于(https://flink.apache.org/2019/06/26/broadcast-state.html)的东西,我正在使用JAVA开发我的代码,但我不知道如何处理异常,如果在处理数据流时发生任何故障,我搜索了很多次,但没有得到我最终在以下两个链接结束 Flink: what's the best way to handle exceptions inside Flink jobs Apache Flink - exception handling