大家好，我正在对Avro Kafka消息进行反序列化，如下所示： FlinkKafkaConsumer<String> consumer = new FlinkKafkaConsumer("conekta.public.person"snapshot": false, "last_snapshot_record": null, "xmin": null}, "op": "c", "ts_ms": 1579910374518} 我
浏览 25提问于2020-01-25得票数 2
回答已采纳
在集成测试中测试flink mini集群上的流时，我遇到了一个问题。该流映射一个生成的Avro Java类( SpecificRecord )。 流作业是用Scala编写的。flink运行时正在崩溃，因为它无法实例化org.apache.flink.formats.avro.utils.AvroKryoSerializerUtils 下面是堆栈跟踪： stack: java.lang.ClassCastExceptionnot instantiate org.a
浏览 38提问于2020-09-25得票数 0
我正在使用集群、Schema服务，并试图在Flink作业中处理Debezium消息。作业被配置为使用Table & SQL连接器和Confluent格式。但是，作业无法连接到架构注册表并引发401错误。at org.apache.flink.formats.avro.AvroRowDataDeserializationSchema.deserialize(AvroRowDataDeserializationSchema.java(Conflue
浏览 3提问于2021-02-08得票数 3
我目前正在开发一个从Hadoop集群读取Avro文件的Flink 1.4应用程序。但是，在我的IDE上以本地模式运行它工作得很好。:99)我正在使用官方的Flink Docker镜像flink:1.4.0-hadoop28-scala_2.11运行集群，该镜像应该已经包含Hadoop发行版。我还尝试将依赖项添加到我的应用程序jar中，但这也没有帮助。" % "hadoop-common" % had
浏览 207提问于2018-02-14得票数 7
我正在编写一个Apache流应用程序，它反序列化数据(Avro格式)，读取一个Kafka总线(关于的更多细节)。数据正在反序列化为Scala案例类。<init>() at org.apache.avro.specific.SpecificData.newRecordat org.apa
浏览 1提问于2018-07-02得票数 5
回答已采纳
1回答
我使用flink流从Kafka源主题中读取事件，在去复制之后，编写来将avro主题中的kafka主题分离开来。forSpecificRecord原因是flink kafka avro接收器让我们使用特定的记录或一般记录构造函数来序列化到avro.: java.lang.IllegalAccessException: Class org.apache.avro.specific.SpecificData can not access a
浏览 6提问于2022-11-20得票数 0
如何使用Flink在s3存储桶中编写DataSet作为拼图文件。有没有像spark :DF.write.parquet(“在拼图中写”)这样的直接函数？ System.out.println("error in converting to avro
浏览 0提问于2019-12-14得票数 3
作为我的flink应用程序的运行时，我通过AWS ()使用托管flink "Serializationtrace:",
"types (or
浏览 2提问于2020-06-03得票数 1
回答已采纳
3回答
我尝试将我的Flink应用程序部署到AWS中。此应用程序使用Apache进行反序列化/序列化传入消息。我的应用程序在本地机器上运行良好，但是当我将它部署到AWS时，我有异常(在CloudWatch日志中)：Caused by: java.io.InvalidClassException: org.apache.avro.specific.SpecificRecordBase(AvroSerializer.j
浏览 12提问于2020-01-09得票数 3
不理解语法，我应该如何定义阿夫罗反序列化器和使用在我的卡夫卡源，同时阅读。import org.apache.flink.api.common.eventtime.Wa
浏览 12提问于2022-05-06得票数 0
1回答
我正在Scala中构建一个Apache应用程序，它从Kafka总线读取流数据，然后对其执行汇总操作。Kafka的数据是Avro格式的，需要一个特殊的反序列化类。import org.apache.avro.io.DatumReaderimport org.apache.avro.reflect.ReflectDatumReaderim
浏览 1提问于2018-07-01得票数 0
回答已采纳
String]("topic", new SimpleStringSchema(), properties))
我必须使用StreamingFileSink (需要DataStreamGenericRecordorg.apache.flink.api.scala.ClosureCleaner$.org$apache$flink$api$scala$ClosureCleaner$$clean(ClosureCleaner.scalacom.att.vdcs.StreamingJobKa
浏览 16提问于2020-07-24得票数 0
我们希望使用Avro来序列化我们的状态，这样当我们更新我们的模型时，状态迁移就会起作用。我们从Flink 1.7开始就知道Avro序列化是支持OOTB的。我们将flink-avro模块添加到类路径中，但从保存的快照恢复时，我们注意到它仍在尝试使用Kryo序列化。如何确保使用了Avro序列化？更新 我发现了https://issues.apache.org
浏览 16提问于2019-03-21得票数 1
我们运行Flink 1.3.0CEP作业，并依赖Avro 1.8.1 ( Avro 1.7.7中不存在LogicalType)来序列化复杂事件(作为POJO)。在IDE (IntelliJ)中运行时，它可以工作，但是当我们打包jar文件并将其部署到集群时，我们得到：
java.lang.NoSuchMethodError: org.apache.avro.Schema.setLogicalType问题：如何确保我们的Flink集群<e
浏览 1提问于2017-07-06得票数 0
回答已采纳
>1.12.1</flink.version> <java.version>1.8</java.version但是为了共享有用的工作pom，我从零开始创建了一个新的纯Flink应用程序，下面是一个pom文件，它起作用了：
<!>1.12.1</flink.versio
浏览 3提问于2021-08-18得票数 1
回答已采纳
我使用客户端应用程序将"MyAvroObjects“发送到RabbitMQ。MyAvroObject.java -不包括-是从avro生成的.可以是任何阿夫罗的信息。下面的代码使用RabbitMQ消息，并将其保存到HDFS，作为avro文件.这就是我所希望的。;import org.apache.avro.mapred.AvroKey;
i
浏览 8提问于2015-12-28得票数 4
2回答
我有一个用例，当我们在模式注册表中为主题起诉TopicRecordNameStrategy时，在单个Kafka主题中有多种类型的Avro记录。因此，我通过应用过滤器并创建不同的流，然后分别下沉每个流，为每种类型过滤不同的记录。;import org.apache.avro.generic.GenericRecord;
import org.apache.flink
浏览 69提问于2020-02-21得票数 1
回答已采纳
1回答
我正在读取我的链接应用程序中的配置YAML文件。我想把这个配置文件保存在S3文件系统上，但是当在我的pom中使用aws-sdk并尝试读取时，我得到了这个错误。</groupId> <version>${flink.version}</version<artifactId>pa
浏览 61提问于2020-04-03得票数 1
我有一个Apache Flink应用程序，我想要根据从主题v01读取的国家来过滤数据，并将过滤后的数据写入到主题v02中。出于测试目的，我尝试将所有内容都写成大写。我的代码： package org.example;
import org.apache.flink.api.common.functions.MapFunction;
import org.apache.<e
浏览 233提问于2021-05-04得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
