FlinkZooKeeperQuorumPeer在flink中的作用是什么？

文章/答案/技术大牛

发布

1回答

apache-flink

在bin/ flink -console.sh中，FlinkZooKeeperQuorumPeer被列为flink可以运行的服务之一。FlinkZooKeeperQuorumPeer是用来做什么的？在哪个flink中需要使用zookeeper并为其运行独立服务？如果是为了作业管理器的高可用性，为什么我们不把它作为作业管理器的一部分呢？(zookeeper) CLASS_

浏览 38提问于2019-05-27得票数 0

1回答

如何将Apache flink连接到rabbitmq？

java、maven、rabbitmq、apache-flink

在这个项目中，我使用来自mvn的干净包进行编译，但我有一个来自idea编译器的error.later，但我有错误。我的代码是：import org.apache.flink.api.common.serialization.SimpleStringSchema;new SimpleStringSchema())) }我的pom>

浏览 25提问于2019-08-13得票数 1

1回答

Apache是删除了StreamOperatorTestHarness类，还是转移到了不同的工件上？

maven、apache-flink、flink-streaming

我使用intellij、maven 3和flink 1.15.1编写有状态流作业。我正在尝试为我的自定义KeyedProcessFunction编写单元测试，并尝试遵循文档以及添加提到的的依赖项。我对使用KeyedOneInputStreamOperatorTestHarness类很感兴趣，但是在我的任何依赖项中都找不到这个类(下面发布的修改后的pom )。Flink >= 1.15.0现在不需要scala相关库，因此对于1.1

浏览 8提问于2022-08-01得票数 1

回答已采纳

2回答

长时间流处理的Flink示例作业

apache-flink

我正在寻找一个长期运行流处理的Flink示例工作用于测试目的。我检查了Flink项目中包含的流/字数，但它似乎运行时间不长，在处理输入文件后，它退出了。我需要自己写一个吗？获得无休止流输入的最简单方法是什么？

浏览 11提问于2019-10-17得票数 1

回答已采纳

2回答

Flink:提交作业无法反序列化JobGraph

apache-flink

我正在尝试将Flink作业提交到群集： ./bin/flink run -m <ip>:8081 examples/batch/WordCount.jar --input /opt/flink/README.txt 但是得到了错误Failed:820) at org.apache.flink<

浏览 433提问于2019-10-13得票数 3

回答已采纳

1回答

#Apache-flink:数据管理的用例

apache-flink、in-memory-database、flink-streaming、flink-cep

我正在尝试构建涉及大量数据摄取的数据管理(DM)解决方案，通过一些数据域规则，替换(丰富)，在将错误数据发送到下游系统之前对其进行标记。规则检查和值替换可以是一些简单的东西，比如数据元素应该满足的允许阈值数值，也可以是一些更复杂的东西，比如对域值池的主数据进行查找。您认为Apache Flink可以作为这种处理的一个很好的候选者吗？是否可以定义flink运算符来对流经它的每个元组进行查找(使用主数

浏览 10提问于2016-08-02得票数 0

1回答

flink操作符状态是否线程安全？

java、apache-flink

以上报价来自Flink官方网站。每个并行操作符实例都可能有线程池。当这些线程访问操作符状态(如上所述，每个并行操作符实例可以有一个操作符状态)时，它会遇到线程安全问题吗？我是否应该使用操作符State的术语，如下面的Java？//update state }

浏览 0提问于2019-03-17得票数 0

5回答

Flink Scala ClassNotFoundException: Flink

java、scala、apache-flink、emr、flink-streaming

我是Flink的新手，我一直在遵循SocketWindowWordCount的例子。我正在使用Scala 2.11.8和Flink 1.3.2，并尝试在EMR上运行它，当我运行以下代码时，它抛出了错误：主类如下所示： import org.apache.flink</

浏览 7提问于2017-10-27得票数 4

1回答

执行从RDS到Mysql的Select - Insert时Flink* SQL内存不足*

apache-flink、flink-streaming、debezium、flink-sql、pyflink

在我的工作流程中，我使用pyflink从RDS加载和转换数据，并将其存入MYSQL。使用FLINK CDC，我能够从RDS获得我想要的数据，并使用JDBC库汇到MYSQL。我的目标是读取一个表，并使用下面的代码示例创建另外10个表，在一个作业中(基本上将一个巨大的表分成较小的表)。我面临的问题是，尽管在flink cdc中使用RocksDB作为状态后端和选项，如s

浏览 30提问于2021-11-24得票数 0

1回答

Flink自定义度量标准未在Datadog中显示。

apache-flink、datadog、pyflink

在Flink中，我使用Python在FlatMapFunction中生成自定义度量。[{"id":"0.FlatMap.my_counter_sum","value":"28201"}] 但是我在Datadog中没有看到任何自定义度量，但是我看到了所有的标准Flink度量。这是我在Flink中为Datadog出口商配置的

浏览 16提问于2022-11-16得票数 0

3回答

如果不重新加载页面，则无法提交表单

javascript、jquery、html

我想用onclick="return false;"来防止这种情况，但它不起作用。 sendContactForm();}); 但是什么都不起作用，文件被卡住了这是 PHP的</e

浏览 0提问于2017-06-07得票数 0

1回答

为Flink集群中的插件添加自定义依赖项

apache-kafka、apache-flink

另外，在作业管理器和任务管理器中，我都支持flink-s3-fs-hadoop内置插件。据我所知，插件有一个专用的动态类加载，它与系统类加载是分开的。因此，我将以下配置添加到flink-file.file文件<e

浏览 2提问于2020-12-06得票数 3

2回答

Apache : java.lang.NoClassDefFoundError

java、amazon-web-services、apache-kafka、apache-flink、noclassdeffounderror

class com.amazonaws.services.kinesisanalytics.aws这是我的maven依赖项：有什么不对的？注意:如果我评论有问题的</e

浏览 1提问于2019-01-09得票数 13

回答已采纳

1回答

K8S上的Flink* :如何向集群提供Flink配置？*

kubernetes、apache-flink

我遵循创建集群，但不清楚如何向集群提供？例如，我想指定jobmanager.heap.size=2048m。

浏览 0提问于2019-08-13得票数 2

回答已采纳

1回答

从水印角度看Flink开发人员的角色

streaming、apache-flink、flink-streaming、pyflink

我是Flink的新手，偶然发现一篇文章提到所以，我想出了可能的答案。据我所知，如果我指示程序每秒钟发出一次水印。实际上，每隔5秒，Flink就会调用AssignerWithPeriodicWatermarks的AssignerWithPeriodicWatermarks方法。如果该方法返回一个非空值，其时间戳大于前一个水印的时间戳，则新的水印被转发。此检

浏览 0提问于2021-12-23得票数 1

回答已采纳

1回答

我的自定义flink度量报告不工作

apache-flink、flink-streaming

使用flink版本1.13.1metrics.reporter.kafka.factory.class: org.

浏览 10提问于2021-08-25得票数 2

回答已采纳

4回答

从Redis读取数据到Flink

redis、apache-flink、flink-streaming

我一直在尝试寻找一个从Redis读取数据到Flink的连接器。Flink的文档包含要写入Redis的连接器的描述。我需要在我的Flink工作中从Redis读取数据。在Using Apache Flink for data streaming中，法比安提到了从Redis读取数据是可能的。可用于此目的的连接器是什么

浏览 54提问于2017-05-26得票数 1

回答已采纳

1回答

在Flink中测试有状态UDF

scala、apache-flink

我正在尝试在我的Scala Flink应用程序中按照文档测试一些有状态UDF： https://nightlies.apache.org/flink/flink-docs-release-1.13/docs/dev/datastream/testing/#unit-testing-stateful-or-timely-udfs--custom-operators 基于该链接，我在b

浏览 36提问于2021-10-19得票数 0

1回答

Flink SQL不遵守“table.exec.source.空闲-超时”设置

apache-kafka、apache-flink、flink-sql

我有一个运行FlinkSQL的Flink作业，其设置如下：注意:我在本地使用了一个Kafka代理，它有三个分区。并且我<em

浏览 3提问于2021-10-26得票数 0

回答已采纳

点击加载更多