腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(2160)
视频
沙龙
1
回答
从
Kafka
主题反
序列化
FlinkKafkaProducer的事件会导致空的
JSON
记录
json
、
serialization
、
apache-kafka
、
deserialization
、
apache-flink
为了测试目的,我在一个裸金属服务器上编写了
Kafka
2.6,遵循问题 当使用自定义
序列化
程序(如前面的问题deserializer中所示的<
浏览 5
提问于2021-08-11
得票数 0
回答已采纳
1
回答
Apache
Flink
-如何实现自定义的反
序列化
程序实现DeserializationSchema
apache-flink
、
flink-streaming
我正在使用
Flink
,我正在使用
Kafka
连接器。我从
flink
收到的消息是一个逗号分隔的项目列表。"'我的情况与往常有点不同,因为据我所知,人们通常使用"
kafka
时间戳“和SimpleStringSchema()。
Flink
提供了一些开箱即用的反
序列化
程序,但我真的不明白如何创建自定义反
序列化
逻辑。查看
flink
网站,我发现了以下内容: https://ci.apache.org/proj
浏览 69
提问于2020-10-24
得票数 1
回答已采纳
3
回答
关于
Flink
反
序列化
的两个问题
java
、
json
、
deserialization
、
apache-flink
、
json-ld
我是
Flink
和集群计算的新手。我花了一整天的时间试图正确地解析
Flink
,一条来自
Kafka
的愚蠢的流,没有结果:这有点令人沮丧.在
kafka
中,我用一个字符串键标识了一个
JSON
-LD消息流。我只想在
Flink
中检索它们,然后用不同的键分离消息。我试过所有的去
序列化
器,但都没有用。我认为我必须使用(
Flink
显然只有两个支持键的反
序列化
浏览 8
提问于2017-06-12
得票数 1
1
回答
Apache
Flink
中使用Java的通用协议缓冲区反
序列化
程序
java
、
apache-kafka
、
protocol-buffers
、
apache-flink
场景: Apache
Flink
、
Kafka
、Protocol buffers data consumer。数据来源为协议缓冲区格式的
Kafka
主题(多个主题: topic#1、topic#3、topic#3)。使用者是Apache
Flink
使用者。每个主题都有一个独特的协议定义。中开发一个通用的数据摄取作业,将
Kafka
中的数据摄取到数据库中。如何为Apache
Flink
实现一个通用的protobuf反
序列化
器?我正在寻找实现将
Kafka
主题链接
浏览 13
提问于2021-04-03
得票数 0
1
回答
Flink
-将pojo串行化到
Kafka
接收器
java
、
apache-kafka
、
apache-flink
、
flink-streaming
我的
Flink
代码的结构是:使用
kafka
获取数据(topic_1_in)、->反
序列化
消息、->地图、->、操作数据->、获取POJO ->
序列化
消息->、用
kafka
发送数据(topic_1_out)DataStream<String> stream = ...FlinkKafkaProducer.Semantic.EXACTLY_O
浏览 3
提问于2021-01-10
得票数 0
回答已采纳
1
回答
Flink
,在使用多个
Kafka
源时,如何正确设置并行性?
apache-flink
、
flink-streaming
我仍然不能清楚地理解并行性,比方说,我们有一个
flink
集群,它有足够的插槽。在我们的
flink
工作中,我们从3个不同的
kafka
集群中使用3个
kafka
主题,每个主题有10个分区。
浏览 0
提问于2019-03-13
得票数 12
回答已采纳
1
回答
使用Apache和类字段/成员的(
反
)
序列化
进行分布式执行
apache-flink
、
flink-streaming
对于
Flink
工作,我有一个简单的概念证明。它基本上接收来自
Kafka
主题的消息(以
JSON
格式),将它们反
序列化
为域模型,根据一些预定义的规则对这些消息进行验证,应用一些转换,最后将结果消息发布到
Kafka
接收器中。据我所知,
Flink
将尝试(
反
)
序列化
这些函数/操作符,以使整个作业真正分发。我不清楚
Flink
是否会通过在这些字段/成员上使用transient自动避免这种情况,或者仅仅将它们声明为static是否
浏览 7
提问于2022-03-11
得票数 0
回答已采纳
2
回答
pyflink
kafka
连接器将接收到的
json
数据反
序列化
为null
json
、
apache-kafka
、
apache-flink
、
stream-processing
、
pyflink
当我将
Kafka
连接到
Flink
时,一切工作正常。但是当我向
kafka
发送
json
数据时,PyFlink接收到它,但反
序列化
程序将其转换为空。pyflink.datastream.connectors import FlinkKafkaConsumer "file:///Users/samprabi
浏览 286
提问于2021-06-13
得票数 0
1
回答
如何在spring中将对象
序列化
为
json
ad hoc
json
、
spring-boot
、
apache-kafka
我创建了一个Spring引导应用程序,它将消息发送到
Kafka
队列(使用spring集成
kafka
支持)。我想发送任意的
json
序列化
对象。有没有办法在我的spring boot应用程序中获得/注入
json
-de-/
序列化
程序?或者如何即席
反
/
序列化
一个对象? 应用
序列化
有哪些好的实践?
浏览 1
提问于2018-01-29
得票数 0
1
回答
Flink
-集成测试表API?
unit-testing
、
integration-testing
、
apache-flink
我已经构建了一个非常小而直接的
Flink
应用程序,它使用来自
Kafka
(
json
)的事件,将它们反
序列化
为Java对象,然后创建两个Table,并使用Table API进行一些简单的操作,最后连接这两个表,并将结果写回
Kafka
测试这类代码的最佳实践是什么?(使用
Flink
1.8.3)
浏览 12
提问于2020-05-16
得票数 1
1
回答
如何在
Flink
程序中逐行阅读
Kafka
主题
apache-kafka
、
apache-flink
、
kafka-topic
首先,我在
Kafka
topic中加载了一个CSV文件,我可以通过中的
Flink
程序打印该主题。(); stream.print(); env.execute("
Flink
浏览 16
提问于2019-06-24
得票数 0
回答已采纳
1
回答
用Python从pyFlink卡夫卡的制作人创建DataStream消费者
apache-kafka
、
twitter
、
flink-streaming
、
pyflink
我想在pyFlink中创建I流
kafka
使用者,它可以在反
序列化
(
json
)之后读取tweet数据,我有pyflink版本1.14.4 (最后一个版本)。我能给出一个
kafka
生产者的例子和python中流的
flink
使用者的简单代码吗?
浏览 8
提问于2022-04-24
得票数 -1
1
回答
Flink
用Java自定义类设置基本的
Kafka
生产者消费者
serialization
、
apache-kafka
、
deserialization
、
apache-flink
、
flink-streaming
CLI解决方案 bin/zookeeper-server-start.sh', name: '
flink
-connector-
kafka
_2.11', version: '1.9.0' compile group: 'org.apac
浏览 4
提问于2020-03-09
得票数 0
回答已采纳
1
回答
使用ConfluentSchemaRegistry反
序列化
avro数据时发生异常?
apache-kafka
、
apache-flink
、
avro
、
confluent-platform
、
confluent-schema-registry
我是
flink
和
Kafka
的新手。我正在尝试使用Confluent Schema注册表对avro数据进行反
序列化
。我已经在ec2机器上安装了
flink
和
Kafka
。/bin/
flink
run -c com.streaming.example.ConfluentSchemaRegistryExample /opt/
flink
-1.7.2/
kafka
-
flink
-stream-proce
浏览 43
提问于2019-04-22
得票数 1
2
回答
如何为
Kafka
2.2实现FlinkKafkaProducer
序列化
程序
java
、
apache-kafka
、
apache-flink
我一直在更新一个
Flink
处理器(
Flink
版本1.9),它从
Kafka
读取,然后写到
Kafka
。我无法让它使用不推荐的构造函数
序列化
数据(这并不奇怪),我也无法在网上找到任何关于如何实现
序列化
器的实现或示例(所有示例都使用旧的
Kafka
连接器)FlinkKafkaProducer010<init>(FlinkKafkaProducer.java:525) at org.apache
浏览 1
提问于2019-10-31
得票数 6
回答已采纳
1
回答
如何处理
flink
流作业中的背压?
apache-flink
、
flink-streaming
我正在运行一个流
flink
作业,它消耗了
kafka
的流数据,并对
flink
映射函数中的数据进行了处理,并将数据写入Azure数据湖和弹性搜索。现在,当我运行这项工作时,
flink
开始从
kafka
获取流数据,它的背压在映射函数中变得很高。有什么设置或配置,我可以做,以避免
反
压力在
flink
?
浏览 6
提问于2017-07-22
得票数 1
1
回答
Kafka
消费者诉Apache
Flink
apache-kafka
、
spark-streaming
、
avro
、
kafka-consumer-api
、
apache-flink
所以我需要用
Kafka
消费者或者Apache来代替
Kafka
流媒体。在我的应用程序用例中,我需要从
kafka
读取数据,过滤
json
数据,并在cassandra中放置字段,因此建议使用
Kafka
使用者,而不是
flink
/其他流,因为我实际上不需要对
Kafka
json
数据进行任何处理因此,我需要你的帮助来理解以下问题: 使用卡夫卡消费者,我能实现相同的连续数据读取,在火花流或
flink
的情况下吗?考虑到我需要从
ka
浏览 4
提问于2017-03-26
得票数 0
1
回答
除了一个胖jar之外,所有东西都会在停靠的
flink
集群中失败。
apache-flink
、
flink-streaming
flink
Dockerfile: ADD http://central.maven.org/maven2/org/apache/
flink
/
flink
-connector-
kafka
_2.12/1.7.2/
flink
-connector-
kafka
_2.12-1.7.2.jar /opt/
flink
浏览 0
提问于2019-04-12
得票数 1
回答已采纳
1
回答
我应该以什么二进制格式向德鲁伊( FlinkKafkaProducer[<Scala case class>]发送事件)吞食卡夫卡主题?
scala
、
apache-kafka
、
apache-flink
、
flink-streaming
、
druid
即:
Flink
1.8 -> (宁静,正式支持Druid0.9.2) -> Druid 0.20.1 未来:
Flink
1.11 ->
Kafka
-> Druid 0.20.1使用推荐的.根据,Scala类属于“
Flink
提供的特殊
序列化
器”,但我不确定它是如何被
序列化
的,因此当Druid从
Kafka
主题读取它时,它是如何被反
序列化
的(即以什么格式)。或者如何在
Flink
端指定数据格式,以便Druid
浏览 5
提问于2021-08-06
得票数 0
回答已采纳
1
回答
如何实现从Datastream Scala + apache
Flink
获取的Avro响应的沙漠化
scala
、
apache-flink
、
avro
、
flink-streaming
、
spark-avro
不理解语法,我应该如何定义阿夫罗反
序列化
器和使用在我的卡夫卡源,同时阅读。import org.apache.
flink
.connector.
kafka
.source.KafkaSourceimport org.apache.
fli
浏览 12
提问于2022-05-06
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
当Flink遇到Kafka-FlinkKafkaConsumer使用详解
Flink-Connector-Kafka(一)
《从0到1学习Flink》——Flink 写入数据到 Kafka
Flink 流式计算在节省资源方面的简单分析
如何使用flink-connector-postgres-cdc将Kafka写数据到PostgreSQL数据库动态表中
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券