我正在使用Flink来处理我的流数据。 我有两个数据源:A和B。 // A
DataStream<String> dataA = env.addSource(sourceA);
// B
DataStream<String> dataB = env.addSource(sourceB); 我使用map处理来自A和B的数据。 DataStream<String> res = mergeDataAAndDataB(); // how to merge dataA and dataB? 说sourceA正在发送:"aaa", "bbb
对于1:1连接,我使用KeyedCoProcessFunction,我有两个流,查找流(每秒100条记录)和点击流(每秒10000条记录)。在processElement2方法中,我在MapState<Long,Row>中寻找关键字,如果找到的话,用它来丰富点击流数据,否则将此记录设置为端输出,然后将端输出设置为kafka。我没有在两个输入流上使用任何窗口。对于kakfa中的dlq主题,我连续看到每秒产生1-2条记录,在将其推送到端输出之前,我如何才能在processElement2方法中等待几毫秒的查找id。 val joinStream = lookDataStream.ke
使用flink版本1.13.1
我写了一个自定义的度量报告,但在我的flink中似乎不起作用。启动flink时,JobManager显示警告日志,如下所示:
2021-08-25 14:54:06,243 WARN org.apache.flink.runtime.metrics.ReporterSetup [] - The reporter factory (org.apache.flink.metrics.kafka.KafkaReporterFactory) could not be found for reporter kafka. Available f
我正在使用Linux中的Docker运行一个带有单个节点的Flink独立集群。我已经在Flink 1.10.0和JDK8的生产环境中运行了一段时间的前一个版本,我能够让S3在那里正常运行。现在,我正在尝试更新到一个较新的版本,使用本地S3实现在我的开发机器上运行Docker。不管我怎么尝试,这个错误总是弹出: org.apache.flink.core.fs.UnsupportedFileSystemSchemeException: Could not find a file system implementation for scheme 's3'. 看起来S3方案没有被映
我正在尝试将我的项目从Flink 1.4升级到Flink 1.9。在1.4中,我构建了一个胖jar,其中包含了我所有的hadoop 2.9.2依赖项,然后我将这些依赖项提交给k8s上的Flink集群。我没有在集群上安装hadoop。
当我将项目升级到1.9并升级集群时,我无法在集群上运行代码,尽管它在我的IntelliJ IDE上运行得很好。例外是:
java.io.IOException: No FileSystem for scheme: hdfs
at org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2
我正在尝试写一些输出到S3使用电子病历与Flink。我使用的是Scala 2.11.7、Flink 1.3.2和EMR 5.11。但是,我得到了以下错误:
java.lang.NoSuchMethodError: org.apache.hadoop.conf.Configuration.addResource(Lorg/apache/hadoop/conf/Configuration;)V
at com.amazon.ws.emr.hadoop.fs.EmrFileSystem.initialize(EmrFileSystem.java:93)
at org.apache.fl
我正在设置一个使用ZooKeeper和3个TaskManagers的JobManager HA集群。我在kubernetes中这样做,并且需要JM通过全主机名(hostname -f而不是hostname)来寻址to,因为它们是在有状态集中。 目前,似乎TMs将他们的地址报告给JM只是作为nostname… 2019-04-12 08:58:32,426 WARN akka.remote.ReliableDeliverySupervisor - Association with remote system [akka.tcp://flink-m
我使用了flink 1.11,但任务管理器找不到org.apache.flink.metrics.influxdb.InfluxdbReporterFactory WARN org.apache.flink.runtime.metrics.ReporterSetup [] - The reporter factory (org.apache.flink.metrics.influxdb.InfluxdbReporterFactory) could not be found for reporter influxdb. Available factories: [
我目前正在使用Flink 1.7 +gcs-连接器库。我试图让StreamingFileSink写到GCS桶中,并遇到以下异常:
我遇到了一个Jira: --但我不清楚代码是否曾经合并过。
在需要做什么方面有什么帮助是非常感谢的,以使这一工作?
java.lang.UnsupportedOperationException: Recoverable writers on Hadoop are only supported for HDFS and for Hadoop version 2.7 or newer
at org.apache.flink.runtime.fs.hdfs.Ha
我目前正在开发一个从Hadoop集群读取Avro文件的Flink 1.4应用程序。但是,在我的IDE上以本地模式运行它工作得很好。但是,当我将其提交到Jobmanager Flink时,它总是失败,并显示以下消息:
java.io.IOException: Error opening the Input Split hdfs://namenode/topics/CaseLocations/partition=0/CaseLocations+0+0000155791+0000255790.avro [0,16549587]: Could not find a file system implem
所以我用它安装了一个样例Flink项目。
我正在尝试使用这个模板,它让我可以开始编写一个Flink摄取应用程序,而不必担心依赖关系,但它适得其反。当我尝试与sbt同步时,我发现找不到Flink (不是要说谎,但这部分对我来说甚至是模糊的)。我想知道是否有人知道如何让我的项目找到Flink。使用这项技术非常令人兴奋。
Error while importing sbt project:
Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=384M; support was removed in 8.0
[