腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
使用
registerTypeWithKryoSerializer
的
Flink
自定义
序列化
apache-flink
、
flink-streaming
flink
自动理解如何最好地
序列化
对象
的
方式非常智能和强大。 在开发一个将利用
flink
的
实时分析项目时,我遇到了一个问题,它更多地与缺少文档有关,而不是与
Flink
有关。我创建了Kryo
序列化
程序,并用
registerTypeWithKryoSerializer
插入了它们。在当前文档中不清楚
的
是,由于其中一些是POJO,
Flink
更喜欢
使用
我
的
kryo
序列化
程序
浏览 95
提问于2019-01-19
得票数 0
1
回答
在
flink
(scala)中
使用
kryo注册特定类型
的
protobuf
序列化
程序时出现问题
serialization
、
protocol-buffers
、
apache-flink
、
kryo
我有一个如下
的
代码片段: env.getConfig.
registerTypeWithKryoSerializer
(classOf[EventMeta], classOf[ProtobufSerializer[EventMeta]]) 其中EventMeta是由scalaPB从proto消息生成
的
case类。我们
使用
flink
1.10.1和scala 2.11。Class[com.here.lanes.laneroadreference.derivation.statefun.state.EventMe
浏览 48
提问于2021-05-06
得票数 0
2
回答
如何在
Flink
中
使用
自定义
序列化
方法?
serialization
、
apache-flink
我在RichMapFunctin.Like
的
构造函数中
使用
了AtomicLongMap{}注册
自定义
serizlize类,但它不起作用 env.getConfig().
registerTypeWithKryoSeri
浏览 0
提问于2018-04-18
得票数 0
2
回答
如何在
flink
中
使用
joda.time (或如何
使用
typeutils.runtime.kryo)
serialization
、
jodatime
、
kryo
、
apache-flink
在
flink
项目中,我
使用
case类单击。访问单击对象
的
日期字段
的
某些函数会引发NullPointerExceptions。这些函数
的
例子是getHourOfDay、toString等。我能够确保click类
的
date字段不是null。我怀疑joda时间库与kryo
序列化
没有很好
的
交互。参见
Flink
中
的
org.apache.
flink
.api.java.typeutils.runtime.kryo
浏览 11
提问于2015-11-11
得票数 4
回答已采纳
1
回答
Flink
: TypeExtractor抱怨protobuf类,尽管它注册了一个ProtobufSerializer
apache-flink
使用
Flink
1.12。我
的
协议是 syntax = "proto3";message TimestampedMessage {} 并尝试像这样
使用
它 final var env = StreamExecutionEnvironment.createLocalEnvironment(); env.getConfig().
浏览 63
提问于2021-08-12
得票数 0
1
回答
用
Flink
反
序列化
Protobuf kafka消息
scala
、
apache-kafka
、
protocol-buffers
、
apache-flink
、
confluent-schema-registry
我正在尝试
使用
Apache阅读和打印来自Kafka
的
Protobuf消息。我跟踪了官方文档,但没有成功: def main(args: Array[String]): Unit = { env.getCheckpointConfig.setCheckpointStorage(s"$targ
浏览 0
提问于2022-01-03
得票数 0
回答已采纳
1
回答
Flink
,如何
使用
ProtobufSerializer对协议进行反
序列化
?
protocol-buffers
、
apache-flink
我需要通过
flink
使用
kafka,不幸
的
是,kafka消息在serde中
使用
了协议,完全不知道如何处理它,这是来自互联网
的
代码,但我无法使其工作。 ...environment = StreamExecutionEnvironment.getExecutionEnvironment(); environment.getConfig().
registerTypeWithKryoSerializer
$CopyingChainingOutput.pushToOperator(
浏览 52
提问于2019-02-28
得票数 0
1
回答
在Java中
序列化
期间未获得有效
的
构造函数错误
java
、
serialization
、
apache-flink
我正在尝试
序列化
我
的
类RowSerializable以便在DataSet中
使用
它,但是我得到了这个错误 } super(0);} 起初,我没有创建非arg构造函数,所以我创建了它,但我仍然有相同
的
错误
浏览 0
提问于2016-12-15
得票数 0
1
回答
Apache
Flink
Channel在完成当前部分记录之前收到一个事件
java
、
maven
、
apache-flink
我用
flink
(java,maven version8.1)从磁盘读取csv文件(),得到以下异常: at org.apache.
flink
.runtime.io.network.api.MutableRecordReader.next:53) at org.ap
浏览 0
提问于2015-05-13
得票数 1
2
回答
番石榴
的
MinMaxPriorityQueue
序列化
scala
、
guava
、
apache-flink
、
kryo
在研究了我
的
的
原因几天后,我得出结论,这个问题存在于我正在
使用
的
MinMaxPriorityQueue中。env.getConfig.
registerTypeWithKryoSerializer
(classOf[MinMaxPriorityQueue[Double]], classOf然而,我发现了这个: 是否有一种等同于MinMaxPriorityQueue
的
方法,或者<e
浏览 1
提问于2018-06-28
得票数 2
回答已采纳
2
回答
在对象类型与静态类型之间进行
序列化
时
的
性能差异
java
、
serialization
、
apache-flink
、
flink-batch
当要
序列化
时,我们需要静态地输入/声明变量
的
数据类型吗?在
序列化
时,它是否提高了性能? 我正在创建一个用于批处理
的
flink
项目。我编写了一个
自定义
输入读取器,它将通过jdbc从数据库中读取数据,并以Hashmap
的
形式返回一条记录,其中包含列名和值。我知道
Flink
序列化
每个子任务之间
的
对象。所以,我
的
问题是,由于我有hashmap where对象类型
的
值,它对
浏览 9
提问于2020-05-07
得票数 0
回答已采纳
1
回答
如何制作Kryo
序列化
程序
kotlin
、
apache-flink
、
jena
我试图通过提供Kryo
序列化
程序来解决以下问题,但它仍然不起作用。它无法识别ModelCom
的
序列化
程序。此外,任何打印功能
的
消息都不会显示出来。我
使用
的
是Apache
Flink
1.9.0和Apache Jena 3.10.0 我
的
Kotlin代码: val serializer = object : Serializer<Model>(){Model::class.java)
浏览 21
提问于2020-04-27
得票数 1
回答已采纳
2
回答
Flink
Kafka -
自定义
类数据始终为空
json
、
serialization
、
apache-kafka
、
deserialization
、
apache-flink
自定义
类class Person private Integer id; //getters and setters卡夫卡
Flink
连接器TypeInformationSerializationSchemapersons", schema , getKafkaProperties())); 现在,如果我发送下
浏览 1
提问于2018-07-02
得票数 0
回答已采纳
1
回答
Flink
,Java类被视为POJO类或常规类
apache-flink
我有一个用来存储状态
的
Java类: public Speed() {} 我注册了遥测类及其
序列化
程序,如下所示:下面是所提到
的
getRegistered*方法
的
输出:
浏览 3
提问于2021-10-28
得票数 0
1
回答
使用
Kafka
的
apache : InvalidTypesException
apache-kafka
、
apache-flink
}); MyCustomClassDeserializer是用来将字节数组转换为java对象
的
。当我在本地运行这个程序时,我会得到错误: 原因: org.apache.
flink
.api.common.functions.InvalidTypesException:输入不匹配:基本类型期望。
浏览 0
提问于2020-05-04
得票数 0
回答已采纳
1
回答
Flink
Streaming:
序列化
字符串消息中
的
意外字符
serialization
、
apache-kafka
、
apache-flink
、
kafka-producer-api
、
flink-streaming
我
的
流正在生成Tuple2<String,String>类型
的
记录其中键为usr12345,值为{"_key":"usr12345","_temperature":46.6}(usr12345,{"_key":"u
浏览 32
提问于2017-08-27
得票数 2
回答已采纳
1
回答
如何
使用
Flink
注册TypeSerializer?
scala
、
apache-flink
、
avro
、
flink-streaming
我在Scala中
使用
Flink
,为了更好地支持状态迁移,我决定从“让
Flink
自省处理所有事情”转移到更显式
的
序列化
/反
序列化
。因此,我决定
使用
Avro,主要是遵循本文中
的
建议:阅读这篇文章,我可以理解在函数中创建状态时如何
使用
自定义
序列化
程序。隐式地从我
的
管道创建一个状态时,我不知道如何注册
序列化
程序。在这种情况下,它仍
浏览 1
提问于2022-09-01
得票数 0
回答已采纳
1
回答
更新作业时
flink
如何处理未
使用
的
键值状态字段
apache-flink
、
flink-streaming
但是我们正在发展我们
的
特性,所以有时一些特性会在我们
的
下一个版本/版本中被放弃,因为我们将不再在我们
的
代码中声明放弃
的
特性状态
的
描述符。我
的
问题是,
flink
是如何处理这些废弃状态
的
?它将不再自动恢复这些已放弃
的
状态吗?
浏览 15
提问于2021-09-14
得票数 0
1
回答
Apache
Flink
-如何实现
自定义
的
反
序列化
程序实现DeserializationSchema
apache-flink
、
flink-streaming
我正在
使用
Flink
,我正在
使用
Kafka连接器。我从
flink
收到
的
消息是一个逗号分隔
的
项目列表。"'a','b',‘c’,1,0.1....‘12:01:00.000’“其中一个包含事件时间,我想将此事件时间用于每个分区
的
水印(在kafka源代码中),然后
使用
此事件时间进行会话窗口。我
的
情况与往常有点不同,因为据我所知,人们通常
使用
"kafka时间戳“和
浏览 69
提问于2020-10-24
得票数 1
回答已采纳
1
回答
在
flink
流中
使用
grok
java
、
serialization
、
apache-flink
、
grok
、
flink-streaming
Flink
管道如下: 有什么方法可以移除地图外
的
浏览 6
提问于2016-11-15
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Flink中的应用部署(三):自定义窗口处理
Python中常用的序列化和反序列化库及其使用
Apache Flink 进阶(五):数据类型和序列化
Flink 流式计算在节省资源方面的简单分析
如何使用flink-connector-postgres-cdc将Kafka写数据到PostgreSQL数据库动态表中
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券