腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(124)
视频
沙龙
1
回答
如
何为
flink
kafka
格式
类型
注册
custormize
序列化
程序
apache-flink
我创建了如下表格,数据来自
kafka
。我想将json消息反
序列化
为Pojo对象。但消息
格式
不是avro或简单的json。因此,我需要知道如何
注册
custormized
序列化
程序
,并将其用于'format.type‘属性。顺便说一下,我的
flink
版本是1.10.0。CREATE TABLE MyUserTable( orgId VARCHAR'connector.type' = '
浏览 30
提问于2021-07-08
得票数 0
1
回答
Flink
-将pojo串行化到
Kafka
接收器
java
、
apache-kafka
、
apache-flink
、
flink-streaming
我的
Flink
代码的结构是:使用
kafka
获取数据(topic_1_in)、->反
序列化
消息、->地图、->、操作数据->、获取POJO ->
序列化
消息->、用
kafka
发送数据(topic_1_out)DataStream<String> stream = ...FlinkKafkaProducer.Semantic.EXACTLY_O
浏览 3
提问于2021-01-10
得票数 0
回答已采纳
2
回答
我如何定义
kafka
生产者,它将根据需要具有不同的自定义
类型
、键和值
序列化
程序
?
java
、
apache-kafka
我有KafkaProducer,我已经配置了如下的键和值
序列化
程序
: props.put("value.serializer", "my custom class"); 现在我的问题是如
何为
不同类
类型
的值
序列化
<em
浏览 0
提问于2019-04-06
得票数 1
1
回答
Flink
如何处理托管状态的
序列化
?
apache-flink
、
avro
、
flink-streaming
Flink
保存运算符的托管状态(用于检查点或逻辑运算符之间的通信(即沿作业图的边缘))是什么
格式
? 背景:我正在考虑从JSON切换到使用AVRO,既可以将中的数据摄取到我的源中,也可以由向我的Sinks发送数据。然而,由Avro创建的自动生成的POJ
浏览 4
提问于2017-12-21
得票数 2
回答已采纳
1
回答
Kafka
Streams API如何从模式
注册
表获取正确的模式?
apache-kafka-streams
、
confluent-platform
、
confluent-schema-registry
我试图理解
Kafka
Streams API是如何与Schema Registry一起工作的。我知道在设置应用
程序
时必须指定Schema Registry URL,但我无法理解如果不指定主题名称或ID,应用
程序
如何从
注册
表检索正确的模式。 它使用主题名称检索模式?
浏览 2
提问于2019-11-25
得票数 2
1
回答
如何在
Flink
SQL中反
序列化
Avro枚举
类型
?
apache-kafka
、
apache-flink
、
avro
、
flink-sql
我有一个带有以下Avro IDL的
Kafka
主题,并
注册
到Schema Registry。:82) org.apache.
flink
.streaming.connectors.
kafka
.table.DynamicKafkaDeserializationSchema.deserialize(KafkaFetcher.java:179) org.apache.
flink
.streaming.connectors.
kafka
.int
浏览 190
提问于2021-10-12
得票数 1
回答已采纳
1
回答
未能连接到合流平台架构
注册
表- Apache Confluent
格式
apache-kafka
、
apache-flink
、
confluent-platform
、
confluent-schema-registry
、
flink-sql
我正在使用集群、Schema服务,并试图在
Flink
作业中处理Debezium消息。作业被配置为使用Table & SQL连接器和Confluent
格式
。但是,作业无法连接到架构
注册
表并引发401错误。(ConfluentSchemaRegistryCoder.java:74)我通过以下方法成功地测试了到Schema
注册
表的连接: curl -u <SR_API_KEY我在这里查看了文档,其中只有3种
格式
选项描述了:" Format“、”Avro-
浏览 3
提问于2021-02-08
得票数 3
1
回答
Kafka
流Ksql Json
apache-kafka
、
apache-kafka-streams
、
ksqldb
kafka
stream / Ksql是否实际上以某种方式支持json?支持的其他
格式
是什么?我已经看到,是否有可能把扁平的json解释为桌子。我想更好地理解这一部分;通过Ksql可以通过SQL查询
kafka
-streams的其他
格式
是什么?这是怎么可能的或支持的?本地的支持是什么?
浏览 0
提问于2019-07-02
得票数 2
回答已采纳
1
回答
Flink
使用s3拼图文件kyro
序列化
错误
protocol-buffers
、
apache-flink
、
parquet
import com.twitter.chill.protobuf.ProtobufSerializer;import org.apache.
flink
.api.java.operators.DataSource; at org.apac
浏览 6
提问于2019-01-21
得票数 0
2
回答
仅在特定字段上使用自定义反
序列化
器?
gson
使用gson,是否可以仅在某些字段上使用自定义反
序列化
程序
/
序列化
程序
?演示如
何为
整个
类型
注册
适配器,而不是为特定字段
注册
适配器。之所以要这样做,是因为我解析自定义日期
格式
并将其存储在long成员字段中(作为Unix时间戳),因此我不希望为所有Long字段
注册
类型
适配器。 有办法这样做吗?
浏览 0
提问于2011-07-27
得票数 6
回答已采纳
3
回答
模式
注册
表的集成
json
、
apache-kafka
、
event-handling
、
confluent-schema-registry
我正在开发一个应用
程序
(B),它使用模式
注册
表并允许客户端(A)向任何其他平台(C)发送数据。总体设计:客户端A ->平台B ->目的地C 所以我不一定要向卡夫卡发布信息。是否有关于如何将模式
注册
表与未发布到
kafka
的自定义应用
程序
集成和使用的文档?我所能找到的所有文档都是与
kafka
一起使用
注册
表的。对于这个设置,我发现很难最终确定要使用的
序列化
格式
--如果我使用avro/protobuf,它需要应用
浏览 4
提问于2022-08-07
得票数 1
1
回答
Kafka
Connect:如何使用HDFS接收器将
Kafka
主题中的protobuf数据发送到hdfs?
apache-kafka
、
apache-kafka-connect
我有一个消费者应用
程序
来反
序列化
protobuf消息。但是hdfs接收器连接器直接从
Kafka
主题获取消息。
浏览 2
提问于2016-11-24
得票数 5
2
回答
使用
Flink
的自定义avro消息反
序列化
apache-kafka
、
apache-flink
、
avro
、
flink-streaming
、
confluent-schema-registry
我正在开发的
Flink
消费者应用
程序
从多个
Kafka
主题中读取。在不同主题中发布的消息遵循相同的模式(
格式
化为Avro)。对于模式管理,我使用的是合流模式
注册
表。由于当前的反
序列化
器是ValueOnly,所以我开始研究setDeserializer()方法,我觉得这个方法可以让我访问整个ConsumerRecord对象,并且可以从中获取主题名称。我应该实现我自己的反
序列化
器吗?如果是这样的话,架构
注册
中心如何与该实现相匹配?
浏览 28
提问于2022-04-25
得票数 2
1
回答
java.util.map和自定义pojo在
Flink
中的
序列化
java
、
serialization
、
apache-flink
、
flink-streaming
、
amazon-kinesis-analytics
我正在尝试使用一个pojo,它没有在kinesis
flink
应用
程序
中的外部库中实现Serializable,当在flatMap函数中使用它时,.The
序列化
失败。rulesets: GenericType<java.util.List>]> 错误- java.io.NotSerializableException: ExecutionRecord 堆栈跟踪也没有显示它无法
序列化
的特定字段如
何为
被识别为泛型
类型
的java.util.list和java.util.map
浏览 66
提问于2021-06-30
得票数 0
1
回答
Kafka
Avro控制台消费者/制作人从文件到文件
apache-kafka
、
avro
、
confluent-schema-registry
如果我有一个模式字符串可以提供给控制台使用者和生产者,那么是否可以使用Avro控制台使用者将Avro编码的消息保存到文件中,并从该文件中读取来写入使用Avro控制台生成器的另一个主题?这是一个支持开箱即用的用例,还是我需要为它编写一个shell脚本?
浏览 2
提问于2021-11-02
得票数 1
回答已采纳
1
回答
Kafka
& Connect -如何修复AVRO Schema数据
类型
apache-kafka
、
avro
、
apache-kafka-connect
、
s3-kafka-connector
设置问题 我们的模式
注册
表中的AVRO模式不符合标准。例如,源系统中的十进制字段在模式
注册
表中具有基
类型
字符串和逻辑
类型
十进制。这些
类型
的组合在AVRO中是不允许的(十进制逻辑
类型
必须始终具有基本
类型
的修复/字节。例如,在拼图中,十进制字段有
类型
字符串,并丢失了关于其十进制
格
浏览 6
提问于2021-08-02
得票数 0
回答已采纳
1
回答
Apache
Flink
中的状态函数远程模块
java
、
state
、
apache-flink
、
flink-statefun
->该模块
类型
支持任意数量的语言SDK,远程模块通过YAML配置文件
注册
到系统。 有状态函数应用
程序
使用http与Apache
Flink
运行时通信。例如,如果我输出
如
客户的统计数据(sum,count,avg等)转到另一个
kafka
主题,然后我进入那个主题,我可以通过python sdk使用远程函数。
浏览 23
提问于2020-04-30
得票数 0
1
回答
AVRO union怪异
序列化
格式
json
、
serialization
、
avro
、
spring-kafka
、
confluent-schema-registry
模式正以正确的
格式
在Confluent中正确地
注册
,但是当我使用confluent KafkaAvroSerializer发送消息时,消息中的联合
类型
以“怪异”
格式
出现。这是我的AVRO模式 "namespace": "com.mynamespace", "doc": "
Kafka
message value它被
序列化</em
浏览 0
提问于2019-07-24
得票数 1
2
回答
如何在
kafka
中执行模式验证
apache-kafka
、
confluent-platform
、
confluent-schema-registry
我使用的是
Kafka
& Schema-registry。在生产者端使用confluent的KafkaAvroSerializer定义了一个模式。一切都很好。我知道
Kafka
只获取
序列化
的二进制文件,并不检查数据和功能是否按设计的方式工作。 想知道是否有更好的方法来强制执行更强的模式验证,从而使主题不会被坏数据污染?
浏览 2
提问于2019-09-05
得票数 4
3
回答
为什么静态
类型
的语言需要Avro模式
注册
表?
java
、
apache-kafka
、
avro
、
confluent-schema-registry
、
confluent-platform
我一直在想,在使用静态
类型
化语言(
如
Java )使用
Kafka
主题的消息时,是否需要使用Avro模式
注册
表。我正在使用来自
Kafka
主题设置的信息,如下所示: props.setProperty(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG为什么我仍然需要指定架构
注册
表URL?我的使用者难道不能用我的项目中的.avsc文件反
序列化
我的
Kaf
浏览 5
提问于2020-04-20
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
当Flink遇到Kafka-FlinkKafkaConsumer使用详解
Apache Flink 进阶(五):数据类型和序列化
Flink 流式计算在节省资源方面的简单分析
日处理数据量超10亿:友信金服基于Flink构建实时用户画像系统的实践
深入理解Kafka Connect:转换器和序列化
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券