Apache Flink Kafka集成

文章/答案/技术大牛

发布

2回答

Apache Flink 1.4与Apache Kafka 1.0.0

apache-kafka、sbt、apache-flink、flink-streaming

我试图让Apache项目与Apache 1.0.0集成。当我试图在我的build.sbt文件中添加flink连接器-kafka包时，我会看到一个错误，它不能解决它。val flinkVersion = "1.4.1" "org.apache.flink" %% "flink-scala" % flinkVersion% &quo

浏览 2提问于2018-03-03得票数 2

回答已采纳

1回答

与Kafka集成的Flink

java、maven、apache-kafka、apache-flink

我正在尝试将Flink与Kafka集成，并读取Kafka producer的数据。我尝试按照flink-docs-release-1.11文档中的代码运行以下代码 import java.util.Properties;import org.apache.flink.streaming.api.d

浏览 23提问于2021-02-11得票数 0

1回答

Flink作业引发SchemaException:计算字段'topics‘的大小时出错

apache-kafka、apache-flink、flink-streaming

我正在集成Flink 1.8流和kafka 2.x(kafka_2.12-2.2.0，kafka_2.12-2.3.0)，并在启动flink作业几秒钟后遇到异常： <groupId>org.apache.fl

浏览 239提问于2019-07-23得票数 0

1回答

org.apache.kafka.clients.consumer.ConsumerRecord 1.9 SQL客户端抛出ClassNotFoundException: Flink

sql、client、apache-flink、classnotfoundexception

尝试将Flink 1.9 SQL-Client与Kafka一起使用，但未成功。Reason:org/

浏览 231提问于2019-09-20得票数 0

1回答

apache-kafka、apache-flink、flink-streaming

我正在尝试将Apache Kafka 2.11-0.10.0.0与Apache Flink 1.1.2集成。我正在使用scala-shell对其进行测试，并得到以下错误。找不到类org.apache.flink.streaming.api.checkpoint.CheckpointNotifier import org

浏览 13提问于2016-09-15得票数 1

回答已采纳

1回答

我的FlinkKafkaProducer011需要比预期的更少的参数

java、scala、apache-kafka、apache-flink、flink-streaming

虽然我已经导入了org.apache.flink.streaming.connectors.kafka.FlinkKafkaProducer011，但是我得到了以下错误。public FlinkKafkaProducer011() { public static class NextTransactionalIdHint extends org.apache.flink.streaming.connectors.kafka.FlinkKafkaProducer.Ne

浏览 5提问于2020-08-11得票数 0

回答已采纳

2回答

使用卡夫卡主题时的org.apache.flink.streaming.api.checkpoint.CheckpointNotifier :ClassNotFoundException

apache-kafka、apache-flink、flink-streaming

我使用的是最新的Flink-1.1.2-Hadoop-27和flink-连接器-kafka-0.10.2-Hadoop 1罐。{ InputStream props = Resources.getResource(KAFKA_CONFIGURATION_FILEproperties.load(props); DataStream<String> stream = env.add

浏览 2提问于2016-10-14得票数 7

回答已采纳

1回答

我的自定义flink度量报告不工作

apache-flink、flink-streaming

[] - The reporter factory (org.apache.flink.metrics.kafka.KafkaReporterFactory) could我的flink conf文件： metrics.reporter.kafka.factory.class: org.apache.flink.metrics.kafka.KafkaReporterFactorymetrics.reporter.kafka.class:

浏览 10提问于2021-08-25得票数 2

回答已采纳

1回答

除了一个胖jar之外，所有东西都会在停靠的flink集群中失败。

apache-flink、flink-streaming

类加载程序异常： FROM flink:1.7.2 ADD http://central.maven.org/maven2/org

浏览 0提问于2019-04-12得票数 1

回答已采纳

1回答

当我的Flink* SQL使用带有Kerberos身份验证的Kafka并将其提交给纱线时，为什么它总是无法通过Kafka身份验证？*

apache-flink、kerberos

报告以下错误 at org.apache.flink.kafka.shaded.org.apache.kafka.clients.consumer.KafkaConsumer.<i

浏览 23提问于2022-01-24得票数 1

1回答

如何修复Flink错误:无法推断FlinkKafkaConsumer011<>的类型参数

java、apache-flink

org.apache.flink.streaming.util.serialization.SimpleStringSchema; import org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer011compile group: 'org.apache.flink', name: 'flink-avro', version: '

浏览 170提问于2019-05-24得票数 2

回答已采纳

1回答

FlinkKafkaProducer的重载构造函数

scala、apache-kafka、apache-flink

._[error] (x$1: String,,x$4: java.util.Optional[org.apache.flink.streaming.connectors.

浏览 103提问于2021-05-24得票数 1

2回答

IntelliJ集成开发环境警告Flink* CEP未知错误*

scala、intellij-idea、apache-flink、complex-event-processing

我开始研究用Scala语言编写的Apache Flink的CEP库，当我试图通过执行https://ci.apache.org/projects/flink/flink-docs-stable/dev/libs/cep.html教程中所示的CEP.pattern(input,pattern)来创建一个PatternStream时，集成开发环境说它“无法解析重载方法”，它指的是pattern方法。import

浏览 50提问于2020-01-14得票数 0

回答已采纳

3回答

如何在Scala中使用Flink的KafkaSource？

scala、apache-kafka、apache-flink

我试图用Flink的KafkaSource运行一个简单的测试程序。我使用的方法如下： import org.apache.flink.streaming.api.scala._ import org.apache.<

浏览 3提问于2015-07-15得票数 5

1回答

Flink应用程序ClassCastException

java、apache-flink

我有一个flink应用程序，它从kafka中读取并将其吸收到kafka。of type org.apache.kafka.clients.consumer.OffsetResetStrategy in instance of org.apache.flink.connector.kafka.source.enumerator.initializer.ReaderHandledOffsetsInitializer"org.apache<

浏览 61提问于2022-05-16得票数 4

1回答

无法初始化org.apache.kafka.common.record.KafkaLZ4BlockInputStream类CompressionType.LZ4

apache-kafka、apache-flink、flink-streaming

(KafkaConsumer.java:1211) at org.apache.kafka.common.record.Compressi

浏览 18提问于2021-12-09得票数 1

1回答

Flink流作业切换到失败状态

apache-kafka、apache-flink

我有一个8节点的Flink集群和一个5节点的Kafka集群来运行WordCount作业。在第一种情况下，生成大量数据并推送到Kafka，然后启动Flink作业。在这种情况下，一切工作正常。) at org.a

浏览 1提问于2016-01-25得票数 0

1回答

加入ioThread时中断/在flink应用程序中处理流运算符时出错

scala、exception、apache-kafka、streaming、apache-flink

我有一个基于flink的流媒体应用程序，它使用apache kafka源和接收器。因为有时候我会在开发过程中的随机时间得到异常，我不知道它们是从哪里来的。(KafkaProducer.java:989) [kafka-clients-0.11.0.2.jar:na] at org.apache.flink.streaming.connectors.kafka.internal.FlinkKafkaProducer.close(FlinkKafkaProducer

浏览 111提问于2019-01-29得票数 1

回答已采纳

1回答

强制flink使用不同的kafka-clients jar

gradle、apache-flink

我正在使用Flink Connector Kafka 1.8.0。(取决于kafka-clients 2.0.1) https://mvnrepository.com/artifact/org.apache.flink/flink-connector-kafka_2.12/1.8.0 使用gradle： // https://mvnrepository.com/

浏览 23提问于2019-12-26得票数 0

1回答

Java :找不到TypeError类'org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer‘

python、java、apache-kafka、apache-flink、flink-streaming

我以为所有的Java依赖都是和pip install apache-flink一起安装的以上错误发生在该行上： kafka_consumer = FlinkKafkaConsumer( deserialization_schema=deserialization_schema, 'bootstrap.servers': KAFKA_BOOTSTRAP_SERVERS}) 根据错误，我是否需要在pyflink环

浏览 252提问于2021-09-26得票数 0

点击加载更多

Apache Flink 1.4与Apache Kafka 1.0.0

与Kafka集成的Flink

Flink作业引发SchemaException:计算字段'topics‘的大小时出错

org.apache.kafka.clients.consumer.ConsumerRecord 1.9 SQL客户端抛出ClassNotFoundException: Flink