如何在Scala中使用Beam使用Kafka to MySQL

文章/答案/技术大牛

发布

1回答

mysql、scala、apache-kafka、apache-beam

我想使用Kafka stream中的数据，并使用Apache Beam将其写入MySQL。options) .apply(KafkaIO.read[Long, String]() .withDataSourceConfiguration(DataSourceC

浏览 11提问于2019-10-08得票数 0

回答已采纳

2回答

无法实例化com.faster.jackson.module.scala.DefaultScaleModule

java、spring-boot、junit、apache-flink、apache-beam

$ scala.package$.Seq()' at com.fasterxml.jackson.module.scala.DefaultScalaModule.通常我使用的是Java8。我尝试将我的窗口更新到Java 11，但错误仍然出现。</groupId> <

浏览 0提问于2021-04-19得票数 0

1回答

如何在管道-IO级别处理异常/错误？

apache-spark、jdbc、apache-beam、apache-beam-io

我使用运行火花流道作为管道流道在apache中，并发现了一个错误。得到错误后，我的问题就成了问题。我知道错误是由于sql查询中的Column_name错误造成的，但我的问题是如何在IO级别处理错误/异常。(SQLError.java:536) at com.mysql.cj.jdbc.exceptions.

浏览 0提问于2018-11-01得票数 2

回答已采纳

1回答

波束闪动: org.apache.beam.runners.flink.translation.wrappers.streaming.WorkItemKeySelector :ClassNotFoundException

java、apache-flink、apache-beam、flink-streaming

我正在尝试使用光束和Flink runner设置一个流处理管道。应用的pom.xml： <properties></properties> <dependencies>-- https://mvnrepository.com/artifact/org.apache.beam/beam-sdks-j

浏览 94提问于2021-01-29得票数 3

1回答

使用Kafka IO时火花运行程序的Apache束问题

apache-spark、apache-kafka、apache-beam、apache-beam-io、apache-beam-kafkaio

该代码在直接运行程序中运行良好。ObjectInputStream.java:482) at scala.collection.immutable.List$SerializationProxy.readObject(List.scala:488) at jdk.internal.reflect.GeneratedMethodAccessor24.inv

浏览 7提问于2021-11-21得票数 0

回答已采纳

1回答

kafka java.lang.RuntimeException的pyflink :未能创建舞台捆绑工厂

apache-kafka、apache-beam、flink-streaming、py4j、pyflink

因此，我从下载了flink-连接器-kafka和kafka-客户端jarfile，并将它们放入pyflink/lib目录。现在我的下一步是得到这个错误；WARNING: An illegalillegal access operations will be denied in a future release Traceback (most recent call last):

浏览 28提问于2022-04-27得票数 1

回答已采纳

1回答

如何为Apache SpecificRecordBase的所有子类选择一个编码器？

apache-spark、avro、apache-beam、serializable、encoder

中的元素，处理元素，并将处理后的元素放入输出Kafka中，如下所示：pipeline.getCoderRegistry.apply(Flatten.iterables())问题我的问题是如何在我的管道中注册编码器由于pipleline将来可以从Cat Kafka或Dog Kafka以及蟾

浏览 14提问于2020-03-02得票数 0

回答已采纳

1回答

如何修复JUnit依赖关系问题的Kafka？

junit、apache-kafka

我想使用，所以我添加了这个依赖项： <groupId>net.mguenther.kafka</groupId> java.lan

浏览 0提问于2019-03-26得票数 0

回答已采纳

2回答

在groovy和spock集成测试中缺少对EmbeddedKafka的依赖

java、spring-boot、gradle、spring-kafka、spring-kafka-test

我一直试图使用embeddedKafka创建一个集成测试，但是在运行它时遇到了缺少依赖的问题，这是一个错误： springBootVersion:spring-kafka-test:${springBootVersion}") 所

浏览 7提问于2021-04-09得票数 0

1回答

使用谷歌数据流上的KafkaIO使用SSL连接到Kafka

java、ssl、apache-kafka、google-cloud-dataflow、apache-beam

在GCP中，如何使用Google Dataflow管道通过SSL信任库、密钥库证书位置和Google服务帐户json连接到远程kafka服务器？我使用Eclipse plugin for dataflow runner选项。如果我指向GCS上的证书，当证书指向Google存储桶时，它会抛出错误。Exception in thread "main" org.apache.beam.sdk.Pipeline$PipelineExecutionException: org.apache.<

浏览 13提问于2019-01-24得票数 1

回答已采纳

3回答

Kafka无法为java 12解析javax/xml/bind/* ClassNotFoundExeption？

java、java-8、apache-kafka、java-12

at scala.Option.getOrElse(Option.scala:121) at kafka.server.KafkaServer.startup(KafkaServer.scala:203) at kafka.server.KafkaServerStartable.startup(Kaf

浏览 0提问于2019-04-05得票数 0

回答已采纳

1回答

Scala IntelliJ库导入错误

scala、apache-spark、intellij-idea、apache-kafka、sbt

我是scala的新手，我正在尝试在我的build.sbt中导入以下库。transformations org.jetbrains.sbt.CreateTasks from C:/Users/diego/.IntelliJIdea2019.3/config/plugins/Scala% "kafka-clients" % "2.3.1" // https://mvnrepository.com/

浏览 3提问于2020-06-29得票数 0

1回答

无法使用Apache beam将消息从源kafka主题推送到目的地kafka主题

python、apache-kafka、apache-flink、apache-beam

我试图运行一个管道，使用apache-束，源作为一个卡夫卡主题，目的地作为另一个卡夫卡主题。我已经编写了我的代码，并且运行良好(也就是说，在我认为的代码中没有错误)。import PipelineOptions with beam.Pipeline(options=PipelineOptions()) as p:

浏览 8提问于2022-06-02得票数 -1

4回答

运行时更改kafka保持期

apache-kafka、retention

在Kafka 0.8.1.1中，如何在日志运行时更改日志保留时间？表示属性为log.retention.hours，但试图使用kafka-topics.sh更改该属性将返回此错误 at kafka.log.LogConfig$$anon

浏览 3提问于2015-03-18得票数 83

回答已采纳

1回答

从卡夫卡读取的Apache光束给出了CoderException: java.io.EOFException

apache-kafka、google-cloud-dataflow、apache-beam

我已经实现了一个来自Kafka的光束管道读取，基于这里的文档： PCollection<String> input = p.apply(KafkaIO.04, 2017 9:46:30 AM org.apache.beam.sdk.io.kafka.KafkaIO$UnboundedKafkaReader advance INFO:

浏览 1提问于2017-04-04得票数 3

1回答

Kafka客户端可能无法连接到服务器。

apache-kafka、tls1.2、apache-beam、google-kubernetes-engine、apache-beam-io

当我的Apache应用程序连接到启用ACL的Kafka集群时，我得到了这个错误。请帮我解决这个问题。org.apache.beam.sdk.io.kafka.KafkaUnboundedReader.start(KafkaUnboundedReader.java:128) org.apache.beam.runners.dataflow.worker.WorkerCustomSources我为test_consumer_group使用者组设置了主题测试的读取权限。CN=myuser.test.io

浏览 0提问于2019-03-08得票数 1

回答已采纳

1回答

Apache管道从kafka读取，但在写入bigquery时挂起。

python、apache-kafka、google-bigquery、apache-beam

我正在创建一个管道，它使用beam_nuggets.io从卡夫卡读取数据，并使用apache写入BigQuery。 "auto_offset_reset": "earliest"

浏览 15提问于2022-07-27得票数 0

1回答

WebSocket to Kafka Topic Scala API

scala、apache-kafka

我有一个需求，我将WebSocket作为数据源，并希望将数据从WebSocket推送到Kafka topic中进行进一步处理。我不确定scala中是否有实现它的apis。因此，坚持使用这个来开始解决方案。

浏览 2提问于2019-04-04得票数 0

1回答

Apache Kafka生产者Config错误

apache-kafka、kafka-producer-api

参考Apache的0.9.0.0版本，如生产者配置的文档所示： props.put("bootstrap.servers", "localhost:9092") at kafka.utils.VerifiableProperties.getString(VerifiableProperties.sc

浏览 5提问于2016-01-18得票数 3

回答已采纳

2回答

当Schema需要TLS客户端身份验证时，无法从数据流作业连接到架构注册表

apache-kafka、google-cloud-dataflow、apache-beam、confluent-schema-registry

我正在开发一个GCP云数据流作业，它使用Kafka broker和Schema注册表。我们的Kafka broker和Schema注册表需要TLS客户端证书。在部署过程中，我面临着与Schema的连接问题。任何建议都受到高度欢迎。 org.apache.beam.sdk.io.kafka.KafkaUnboundedReader.advance(KafkaUnboundedReader

浏览 2提问于2019-05-08得票数 1

回答已采纳

点击加载更多