腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
在
Kafka
连接
中
使用
ProtobufConverter
时
找不到
SchemaRegistryClient
apache-kafka
、
apache-kafka-connect
、
debezium
我可以
使用
debezium和
Kafka
connect将数据从数据库流式传输到
Kafka
主题中。但是,如果我尝试
使用
以下命令输出 value.converter=io.confluent.connect.protobuf.
ProtobufConverter
java.lang.ClassNotFoundException: io.confluent.
kafk
浏览 63
提问于2021-02-12
得票数 0
1
回答
Kafka
Schemaregistry Protobuf不支持字符串类型的根架构
apache-kafka
、
protocol-buffers
、
confluent-schema-registry
我正在
使用
Kafka
Connect和Google PubSub Connector将消息从gcp PubSub写入到
Kafka
主题中。我的
连接
器具有以下配置: { "config": { "connector.class": "com.google.pubsub.
kafka
.source.CloudPubSubSou
浏览 14
提问于2020-10-16
得票数 0
1
回答
Spark:
使用
Spark Scala读取来自
Kafka
的Avro消息
scala
、
apache-spark
、
avro
、
spark-structured-streaming
、
confluent-schema-registry
我正在尝试下面的代码
在
spark 2.4.3
中
读取卡夫卡的Avro消息。这是我正在尝试的当前代码,其中至少我能够获得一些结果,但所有记录都是以null值的形式出现的。import io.confluent.<e
浏览 11
提问于2019-11-27
得票数 1
2
回答
Flink状态乐趣和合流模式注册表兼容性
confluent-schema-registry
、
flink-statefun
在
中
,为了进行模式检查并将数据放入到
kafka
主题中,我们所需要做的就是
使用
kafka
客户端ProducerRecord对象和avro对象。但是
在
中
,我们需要重写卡夫卡出口的"ProducerRecord<byte[],byte[]>序列化“方法。这将导致以下错误。Caused by: org.apache.
kafka
.common.errors.SerializationException: Error registering
浏览 6
提问于2020-06-22
得票数 0
回答已采纳
1
回答
卡夫卡HDFS Sink
连接
器Protobuf未编写
apache-kafka
、
hdfs
、
protocol-buffers
、
avro
、
apache-kafka-connect
我正在尝试
使用
Kafka
3接收器
连接
器为HDFS编写protobuf二进制文件。但是,
连接
器一直
在
写入avro文件。
ProtobufConverter
作为值转换器,并安装了插件。(
ProtobufConverter
是否转换为Avro文件格式?)我还注册了我的模式,并
使用
以下Java文件向主题发送数据:import org.apache.
kafka</em
浏览 9
提问于2021-07-24
得票数 1
回答已采纳
1
回答
弹簧启动嵌入式卡夫卡无法
连接
java
、
spring-boot
、
kotlin
、
apache-kafka
、
confluent-platform
我已经完成了测试,但是当我开始测试
时
,我只看到这个重复的无限的结果: 我
在
我的@EnableKafka类上有了@Conf
浏览 1
提问于2019-04-03
得票数 5
回答已采纳
3
回答
如何
使用
Spring cloud stream访问受密码保护的confluent模式注册服务器?
apache-kafka
、
avro
、
spring-cloud-stream
、
confluent-schema-registry
、
aiven
我正在
使用
spring cloud stream和
使用
confluent's schema registry的Aiven的模式注册表。Aiven的模式注册表
使用
密码保护。vanilla java的
kafka
驱动
时
,一切都很好,但是如果我
使用
Spring cloud stream,我不知道如何注入这两个参数。目前,我将"basic.auth.user.info"和"basic.auth.credentials.source"放在applic
浏览 21
提问于2019-04-16
得票数 2
回答已采纳
1
回答
Hortonworks架构注册表+ Nifi + Java:反序列化Nifi记录
java
、
apache-kafka
、
apache-nifi
、
avro
、
hortonworks-dataflow
我正在尝试反序列化由Nifi序列化的一些
Kafka
消息,
使用
Hortonworks模式注册表final String SCHEMA_REGISTRY_CACHE_SIZE_KEY =
SchemaReg
浏览 4
提问于2020-02-19
得票数 3
回答已采纳
1
回答
与protobuf特定消息汇合的serdes不工作
java
、
apache-kafka
、
protocol-buffers
、
apache-kafka-streams
、
confluent-schema-registry
我正在
使用
(7.2.2)模式注册中心和protobuf,并打算在
Kafka
streams应用程序中
使用
特定的消息类。, "demo"); return serde;
在
7.2.2版
中
,
SchemaRegistryClient
是抽象的但是,即使在此构造函数
中
传递schemaClient和protobuf类
时
,它仍然希望我
在
映射到.
浏览 5
提问于2022-10-06
得票数 0
回答已采纳
2
回答
没有找到
Kafka
Connect原装转换器
apache-kafka
、
protocol-buffers
、
apache-kafka-connect
、
strimzi
我有一个卡夫卡S3接收器
连接
器,我正在生产信息。但是,当我向主题发送消息
时
,我的接收器
连接
器的日志会抛出这个错误:import org.apache.
kaf
浏览 19
提问于2022-06-28
得票数 1
回答已采纳
1
回答
向卡夫卡发送阿夫罗信息
apache-kafka
、
apache-kafka-connect
我这样做是因为由于
Kafka
接收器的限制,我需要消息包含模式。我可以
在
notepad++上打开这个文件,并看到它包括模式和几行数据。现在,我想将它发送给我的中心
Kafka
代理,然后
使用
Kafka
接收器将数据放入数据库。我很难理解我应该如何将这些阿夫罗文件发送给我的卡夫卡经纪人。我是否需要一个模式注册表来实现我的目的?
浏览 3
提问于2021-03-31
得票数 0
回答已采纳
1
回答
卡夫卡
连接
:读取JSON序列化的
Kafka
消息,转换为Parquet格式并以S3持久化
json
、
apache-kafka
、
parquet
、
apache-kafka-connect
、
s3-kafka-connector
我需要阅读来自
Kafka
主题的JSON序列化消息,将它们转换为Parquet并在S3
中
坚持。背景因此,我正在寻找一种方法从最初用JSON格式编写的
Kafka
主题中读取消息,以某种方式将它们转换为JSON格式,然后将它们插入到S3
连接
器
中
,该
连接
器将
浏览 2
提问于2021-05-20
得票数 0
1
回答
未满足Macwire依赖关系
scala
、
dependency-injection
、
macros
、
macwire
我正在我的scala项目中
使用
连线。我有个usecase -- 如果我
在
SchemaRegistryClient
中
创建硬编码的EndpointModule.对象,它就能工作。我似乎
找不到
一种方法来满足这种依赖。LightweightinstructionRunne
浏览 2
提问于2020-05-24
得票数 1
1
回答
使用
事务
时
,每个生产者的key.serializer不同
spring-kafka
、
spring-cloud-stream
我
使用
的是spring-cloud-stream-
kafka
,我不明白如何在
使用
事务
时
更改key.serializer属性。: brokers: ${
KAFKA
_BOOTSTRAP_ADDRESSES} avro:
浏览 13
提问于2019-06-18
得票数 0
回答已采纳
2
回答
在
Python中
使用
'
SchemaRegistryClient
‘反序列化AVRO消息
python
、
schema
、
avro
、
confluent-schema-registry
我们正在尝试
使用
来自其他系统的AVRO消息。当我
使用
下面的代码将模式指定为文件(.avsc)
时
,我能够读取AVRO消息。现在,为了
使用
下面的代码从url获取模式, sr =
SchemaRegistryClient
(IP) return schema
使用
上面用来反序列化消息的
浏览 0
提问于2020-08-02
得票数 2
2
回答
Kafka
Connect Protobuf配置
apache-kafka
、
protocol-buffers
、
grpc
、
apache-kafka-connect
我正在尝试创建一个
使用
protobuf值转换器的
kafka
接收器
连接
器。我有一个
使用
JSON的配置版本,但是我现在需要将其更改为
使用
protobuf消息。我正在尝试创建一个具有以下请求的
连接
器: "key.converter": &qu
浏览 0
提问于2020-10-15
得票数 1
1
回答
如何在confluent控制中心配置datagen
连接
器
apache-kafka
、
apache-kafka-connect
、
confluent-platform
我想知道
在
confluent center中
使用
data gen
连接
器的过程,这样我就可以为测试主题生成随机数据。 我尝试
使用
某些设置
连接
datagen
连接
器,但总是失败。更新:我尝试
连接
在topic
中
创建的我自己的模式,但它不能
使用
它,datagen
连接
器无法启动。": "io.confluent.connect.protobuf.
ProtobufConverter
"
浏览 0
提问于2020-08-05
得票数 0
2
回答
如何为KafkaAvro编写GenericData.Record服务器
java
、
apache-kafka
、
avro
、
kafka-consumer-api
、
apache-kafka-streams
我
使用
Kafka
0.10.2和Avro来序列化我的消息,包括键和值数据。现在我想
使用
Kafka
,但是我不得不为GenericData.Record类编写GenericData.Record类。import org.apache.avro.generic.GenericData.Record;import io.confluent.
kafk
浏览 8
提问于2017-04-27
得票数 1
回答已采纳
3
回答
使用
Avro Schema注册表的
Kafka
使用
者单元测试失败
java
、
spring-boot
、
junit
、
apache-kafka
、
confluent-schema-registry
我正在编写一个消费者,它监听
Kafka
主题,并在消息可用时消费消息。我通过
在
本地运行
Kafka
来测试逻辑/代码,它工作得很好。在编写单元/组件测试用例
时
,由于avro schema注册表url错误而失败。我
在
互联网上尝试了不同的选项,但没有找到任何有效的方法。我甚至不确定我的方法是否正确。请帮帮忙。=true) priv
浏览 0
提问于2019-08-20
得票数 3
4
回答
如何
使用
Avro (schemaRegistry)对
Kafka
流进行功能测试?
java
、
apache-kafka
、
avro
、
apache-kafka-streams
对我想要实现的目标做一个简短的解释:我想为avro做卡夫卡流拓扑(
使用
TopologyTestDriver)的功能测试。问题:无法“模拟”schemaRegistry来自动化模式发布/读取 return avroSerde;如果我
浏览 1
提问于2018-10-10
得票数 4
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
基于Kafka Connect的流数据同步服务实现和监控体系搭建
中国民生银行大数据团队Kafka1.X管控实践
CDC Debezium 介绍
深入理解Kafka Connect:转换器和序列化
关于Kafka java consumer管理TCP连接的讨论
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券