Flink序列化: POJO类型与GenericType

文章/答案/技术大牛

发布

1回答

apache-flink、flink-streaming

在我的Flink应用程序中，我使用java.time.Instant来表示UTC时间戳。应用程序运行正常，但我最近在Flink日志中注意到了这条消息：当我去阅读文档时，没有太多关于使用像Instant这样的东西对性能的

浏览 93提问于2020-02-05得票数 0

回答已采纳

1回答

java.util.map和自定义pojo在Flink中的序列化

java、serialization、apache-flink、flink-streaming、amazon-kinesis-analytics

我正在尝试使用一个pojo，它没有在kinesis flink应用程序中的外部库中实现Serializable，当在flatMap函数中使用它时，.The序列化失败。Pojo public class ExecutionRecord { private List<>, outcome: PojoType<Outcome, fields = [actions: GenericType<

浏览 66提问于2021-06-30得票数 0

1回答

如何在Flink中使用LocalDate字段高效地序列化POJO？

java、apache-flink

cannot be used as a POJO type because not all fields are valid POJO fields, and must be processed asGenericType.据我所知，LocalDate不能归类为POJO，所以flink不使用POJO序列化程序，而是使用Kryo，效率较低。然而，从1.9.0版本开始，flink已经为java.time类(例如LocalDateSerializer)提供了

浏览 240提问于2021-02-17得票数 1

回答已采纳

1回答

Flink: scala case类通过Kryo被序列化为GenericType

scala、apache-flink

我在flink应用程序(Flink 1.10.1)中定义了以下case类在运行时，我注意到日志上写着 FilterDefinition cannot be used as a POJOtype because not all fields are valid POJO fields, an

浏览 0提问于2021-04-23得票数 0

1回答

使用registerTypeWithKryoSerializer的Flink自定义序列化

apache-flink、flink-streaming

flink自动理解如何最好地序列化对象的方式非常智能和强大。在开发一个将利用flink的实时分析项目时，我遇到了一个问题，它更多地与缺少文档有关，而不是与Flink有关。我建议在这里修改，因为它可以在未来节省几个小时的时间来鄙视其他人:) 我有几个需要定制序列化程序的类。在当前文档中不清楚的是，由于其中一些是POJO，Flink更喜欢使用我的kryo序列化程序的GenericType。一旦我明白了

浏览 95提问于2019-01-19得票数 0

1回答

结合使用Flink和thrift

apache-flink、thrift

我在我的flink应用程序中看到了一些关于我的储蓄类的日志：此外，生成的节约代码是用Java编

浏览 43提问于2020-06-02得票数 0

回答已采纳

1回答

Flink，Java类被视为POJO类或常规类

apache-flink

更新：env.getConfig().registerTypeWithKryoSerializer(DataElement.class, DataElementKryoSerializer.classtype because not all fields are valid POJO fields, and must be processed as GenericType.Please read the Flink documentation on "Data Type

浏览 3提问于2021-10-28得票数 0

2回答

在Flink* Mini Cluster (1.11)和AvroKryoSerializerUtils上运行流不起作用*

apache-flink

flink运行时正在崩溃，因为它无法实例化org.apache.flink.formats.avro.utils.AvroKryoSerializerUtils 下面是堆栈跟踪： stack: java.lang.ClassCastExceptionat org.apache.flink.api.java.typeutils.AvroUtils.getAvroUtils(AvroUtils.java:53) at org.apache.flink.api.java.typeutils.runtime.kryo.Kr

浏览 38提问于2020-09-25得票数 0

1回答

DataSet/DataStream类接口

scala、apache-flink、typeclass、subtyping、adhoc-polymorphism

我只是尝试在Flink中使用Scala类型的类。我定义了以下类型的类接口： def timestamp(payload: T): Int现在，我想考虑一下这样的DataSet of LikeEvent在这里，我只是为了学习而尝试类型类模式，但在我看来，一种更面向对象的方法(基于子类型)看起来更简单。List 注意到提出了类似的问题，但它考虑的是一个简单的Scala ，而不是Flink (或 DataStream**). )。我问

浏览 5提问于2020-04-13得票数 2

回答已采纳

1回答

在使用scala case类时，Flink不允许POJO对象使用不可变的样式设置器

scala、apache-flink

相关问题：https://issues.apache.org/jira/browse/FLINK-14380 在使用类型提取器Flink判断一个类是否符合POJO时，Flink会检查该类是否实现了setter对于setter方法，Flink断言返回类型为Void。如果经常使用case类，case类setter的返回类型是objects类的副本，这是一个问题。，尽管由于setter的返回类型</e

浏览 37提问于2019-10-12得票数 2

2回答

代码更改后从状态恢复Flink作业

apache-flink

我正在对FS使用Apache Flink 1.9和standart检查点/保存点机制。我的问题是:如果作业的代码发生更改，从保存点恢复作业的正确方法是什么？

浏览 0提问于2019-11-26得票数 1

1回答

Flink: TypeExtractor抱怨protobuf类，尽管它注册了一个ProtobufSerializer

apache-flink

使用Flink 1.12。我的协议是 syntax = "proto3";message TimestampedMessage {flink.protobuf.Test$TimestampedMessage cannot be used as a

浏览 63提问于2021-08-12得票数 0

2回答

未标识为Flink有效POJO的Kotlin类

kotlin、apache-flink

我正在用Kotlin编写Flink应用程序，数据类(以及其他Kotlin类)没有标识为有效的POJO类型。Flink文档指出，如果满足以下条件，数据类型将被识别为POJO类型(并允许“按名称”字段引用)： [main] INFO org.apache.flink.api.java.ty

浏览 15提问于2019-01-18得票数 4

回答已采纳

1回答

在日志中，我看到KafkaTopicPartition不能用作POJO；这意味着什么？

apache-flink、flink-streaming

不是一个错误，但我确实看到了这一行，根据消息可能会影响性能： 2019-01-02 14:44:44,879 INFO org.apache.flink.api.java.typeutils.TypeExtractor- class org.apache.flink.streaming.connectors.kafka.internals.KafkaTopicPartition does- Class class org.apache.flink.streaming.connectors.kafka.internals.KafkaTop

浏览 123提问于2019-01-02得票数 0

1回答

flink映射中的json动态解析

scala、reflection、apache-flink、scala-reflect

我使用flink动态地分析json类型数据，并使用给定列进行keyby和sum，在我的mapFunction中，我将json转换为case类，但是结果流没有在keyBy函数中得到编译器，得到了这样的错误Exception in thread "main" org.apache.flink.api.common.InvalidProgramException: This type (GenericType

浏览 4提问于2020-09-29得票数 1

1回答

RuntimeException使用Flink的MapFunction与Cassandra“插入”，但不使用“语句”

java、cassandra、datastax、query-builder、apache-flink

在与Cassandra一起进行Flink流实验时，我在MapFunction中生成INSERT语句时遇到了一个有趣的问题。:1683) at org.apache.flink.api.java.typeutils.TypeExtractor.privateGetForClass(TypeExtractor.java:

浏览 9提问于2017-01-17得票数 0

回答已采纳

1回答

创建超级类型的MapFunction时编译失败

java、apache-flink、flink-streaming

我使用的是Flink 1.12.0，我有以下简单的测试用例：public interfacevalue) { }然后，我定义了一个简单的应用程序，它将ConcreteModel映射到字符串，Provided: MyMapFunc

浏览 5提问于2021-06-29得票数 0

回答已采纳

1回答

是否有办法“合法”消除flink中的TypeExtractor警告？

java、serialization、apache-flink

我改变了我在分析数据中的持续时间，我把所有flink数据管道(我们使用的是flink 1.13)从Long表示方式拖到java.time.Duration。seconds 2022-11-07T23:34:46,247 INFO TypeExtractor - Class class java.time.Duration cannot be used as a POJOtype because not all fields are valid POJO fields, and must be processed as <

浏览 7提问于2022-11-08得票数 1

1回答

更新作业时flink如何处理未使用的键值状态字段

apache-flink、flink-streaming

我的问题是，flink是如何处理这些废弃状态的？它将不再自动恢复这些已放弃的状态吗？

浏览 15提问于2021-09-14得票数 0

1回答

Flink如何处理托管状态的序列化？

apache-flink、avro、flink-streaming

Flink保存运算符的托管状态(用于检查点或逻辑运算符之间的通信(即沿作业图的边缘))是什么格式？背景:我正在考虑从JSON切换到使用AVRO，既可以将中的数据摄取到我的源中，也可以由向我的Sinks发送数据。然而，由Avro创建的自动生成的POJO类相当嘈杂.因此，在作业图(用于<

浏览 4提问于2017-12-21得票数 2

回答已采纳

点击加载更多