腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(6141)
视频
沙龙
1
回答
使用spring云流
kafka
发送
的
kafka
-
avro
-console-
consumer
消费
avro
消息
时出错
avro
、
spring-cloud-stream
、
confluent-platform
、
confluent-schema-registry
我尝试了官方
的
示例(
消费
者/生产者)与我本地安装
的
confluent 4.0.0,它可以在发送post请求和在侦听器
中
接收时发送“传感器”
avro
消息
,但当我使用confluent 4.0.0附带
的
kafka
-
avro
-console-
consumer
工具查看发送
的
avro
消息
时,该工具引发了以下错误(a)。我也尝试使用
kafka
-
浏览 3
提问于2018-08-26
得票数 1
1
回答
Kafka
控制台用户读取HDP 3
中
的
avro
消息
apache-kafka
、
kafka-consumer-api
、
cloudera
、
hdp
尝试使用来自控制台
消费
者
的
kafka
Avro
消息
,但不确定如何反序列化
消息
。sh /usr/hdp/current/
kafka
-broker/bin/
kafka
-console-
consumer
.sh --bootstrap-server localhost:6667 --topic测试主题
的
架构注册表
中
的
Avr
浏览 0
提问于2020-04-02
得票数 2
1
回答
Spring Cloud Stream
中
每个绑定
的
自定义密钥服务
spring-cloud-stream
、
spring-kafka
我正在尝试理解如
何在
Spring Cloud Stream中使用
不同
的
键序列化器/反序列化器。我已经找到了指定全局serdes
的
方法,但我不知道如何为每个绑定指定
不同
的
serdes,以便允许
不同
的
键类型(Integer,String等)。例如,以下配置使用属性spring.
kafka
.
consumer
.keyDeserializer
和
spring.
kafka
.produc
浏览 20
提问于2019-05-09
得票数 1
回答已采纳
2
回答
Confluent
Kafka
Rest代理-
Avro
反序列化
apache-kafka
、
confluent-platform
、
kafka-rest
我试图使用Confluent
Kafka
REST代理从我
的
一个主题中检索
Avro
格式
的
数据,但不幸
的
是我得到了一个反序列化错误。我正在使用以下命令查询
Kafka
REST代理http://localhost:8082/consumers/my-group
浏览 1
提问于2019-03-08
得票数 1
1
回答
SI
kafka
-基于路由器条件
的
消息
流
spring-integration
、
apache-kafka
要求:期望接收/处理inMessageHandler
中
的
inMessage
和
emailMessageHandler
中
的
emailMessage。问题:(如果
消费
者配置
的
消费
者组id
不同
)
消息
一直流动,直到
消费
者服务处理程序
的
transform方法在这两种情况下都是如此,但在emailMessageHandler
中
的
emailMessag
浏览 4
提问于2015-09-21
得票数 1
1
回答
如何正确创建
消费
者进行集成测试,以验证
消息
是否被推送到
kafka
?
java
、
spring-boot
、
apache-kafka
、
spring-cloud
、
spring-cloud-stream
我正在使用
avro
生成一个java类( Heartbeat ),并且我正在使用Spring云
消息
处理器,以便通过此Heartbeat类将
消息
推送到
kafka
。因此,
消息
如
预期
的
那样出现了。HeartbeatKafkaConsumer
中
读取数据,但我就是不能正确地将值
解析
回心跳。我如何从
kafka
消费
作为心跳,以便我可以测试它与最初发送
的
消息
?我甚至不能以字符串<e
浏览 1
提问于2021-05-28
得票数 0
1
回答
在使用
Kafka
Avro
控制台
消费
者时,如何传递特定Schema注册表
的
参数?
apache-kafka
、
avro
、
confluent-platform
、
confluent-schema-registry
我正在尝试使用Confluent
kafka
-
avro
-console-
consumer
,但是如何将Schema Registry
的
参数传递给它?
浏览 0
提问于2018-04-20
得票数 20
回答已采纳
2
回答
当
Kafka
Consumer
更新时,如
何在
avro
模式
中
对字段进行版本控制?
apache-kafka
、
avro
示例:-我有一个名为
的
字段 {"key1":"value1", "key2":"value2"}, ]
Consumer
1,
consumer
2使用这个变量,而现在
consumer
2需要更多
的
字段,并且需要改变结构。
浏览 0
提问于2021-07-09
得票数 0
1
回答
如
何在
kafka
consumer
中
消费
和
解析
不同
的
Avro
消息
apache-kafka
、
kafka-consumer-api
、
confluent-schema-registry
在我
的
应用程序
中
,
Kafka
主题专用于一个域(不能改变这一点)
和
多个
不同
类型
的
事件(1个事件=1个
Avro
模式
消息
),这些事件是由同一主题中
的
不同
微服务产生
的
。现在我只有一个
消费
者应用程序,在其中我应该能够动态地应用
不同
的
模式(通过检查
消息
中
的
事件名称),并在适当
的
pojo对
浏览 18
提问于2021-07-19
得票数 0
1
回答
如何使用C#
和
Confluent.
Kafka
从具有多个
avro
模式
的
主题中使用
Kafka
消息
c#
、
apache-kafka
、
avro
我需要使用来自具有多个
avro
模式
的
主题
的
消息
。 我使用c#库Confluent.SchemaRegistry
和
Confluent.
Kafka
使我
的
消费
者。我尝试使用GenericRecord类型来反序列化
消息
,而不传递
avro
,但是序列化不能很好地工作,因为返回具有无效json格式
的
字符串。new CachedSchemaRegistryClient(_schemaRegistryConfig))
浏览 3
提问于2022-02-24
得票数 0
2
回答
如何从
Kafka
主题中转储
avro
数据并在Java/Scala
中
读取
apache-kafka
、
avro
为了测试目的,我们需要从
Kafka
主题导出生产数据:数据是用
Avro
编写
的
,模式被放在schema注册表
中
。使用
kafka
-
avro
-console-
consumer
:它生成一个json,其中也包含一些字节,例如在反序列化BigDecimal时。我们甚至不知道要选择哪个
解析
选项(不是
avro
,不是json) 部署一个特殊
的
kafka
使用者将要求我们将
浏览 0
提问于2018-03-03
得票数 1
2
回答
InstanceAlreadyExistsException来自卡夫卡
消费
者
java
、
multithreading
、
apache-kafka
、
kafka-consumer-api
KafkaConsumerA
中
建立一个包含三个
消费
者
的
消费
者组,所有三个用户都订阅相同
的
主题。getConsumerProps()方法返回属性对象,其中包含client.id
和
group.id,对该
消费
者组
中
的
所有三个
消费
者都具有相同
的
值。下面是我
的
设计细节: 我
的
KafkaConsumerA将在一个
消费
者组中有三个
消费
者,
浏览 5
提问于2016-11-30
得票数 15
1
回答
在
Kafka
Consumer
中
反序列化
Avro
包时出现堆空间问题
java
、
apache-kafka
、
deserialization
、
heap-memory
、
avro
反序列化
Kafka
消费
者
中
的
avro
消息
时,出现内存不足
的
堆空间异常。使用本地
的
kafka
生产者
和
消费
者运行Java语言
的
消费
者代码,我试图在IntelliJ中将堆内存增加到10 to,但仍然遇到这个问题。简单
的
消费
者类代码 Properties props = new Properties(); pr
浏览 69
提问于2019-05-03
得票数 2
1
回答
刷新页面后,主题
消息
从汇合主题中消失
apache-kafka
、
confluent-platform
、
kafka-topic
使用confluent客户端时,主题
消息
会从主题中消失。我唯一能看到
的
(在不重新加载页面时)是我在同一页面中使用"Produce“选项创建
的
消息
。
Kafka
的
配置还可以(我想),但我还是不明白哪里出了问题?
浏览 7
提问于2021-11-17
得票数 0
1
回答
Kafka
NodePort服务在集群之外是不可访问
的
。
apache-spark
、
kubernetes
、
apache-kafka
、
kubernetes-helm
我检查了控制台
Kafka
生产者
和
消费
者与相同
的
主机
和
端口-他们正常工作。然而,当我创建作为数据
消费
者
的
火花应用程序
和
作为生产者的卡夫卡,他们无法连接到卡夫卡service0。尽管在火花日志
中
,我看到NodePort服务
解析
端点,而代理被发现为寻址
的
豆荚
和
端口: INFO AbstractCoordinator: [
Consumer
clientId=
con
浏览 0
提问于2019-01-24
得票数 1
回答已采纳
2
回答
如
何在
Kafka
-Connect接口中设置max.poll.records
apache-kafka
、
apache-kafka-connect
我正在使用confluent-3.0.1平台并构建一个
Kafka
-Elasticsearch连接器。为此,我扩展了SinkConnector
和
SinkTask (
Kafka
-connect API)以从
Kafka
获取数据。作为这段代码
的
一部分,我扩展了SinkConnector
的
taskConfigs方法,返回"max.poll.records“,一次只获取100条记录。但它不工作,我正在同时获得所有记录,我无法在规定
的
时间内提交补偿。
浏览 3
提问于2016-11-10
得票数 0
3
回答
星火Python
Avro
Kafka
Deserialiser
python
、
apache-spark
、
apache-kafka
、
avro
、
spark-streaming
我已经在应用程序
中
创建了一个
kafka
流,并且可以
解析
任何通过它产生
的
文本。以便能够
解析
来自卡夫卡主题
的
avro
消息
。在
解析
文件
中
的
avro
消息
时,我会这样做: reader = DataFileReader(open("customer.
avro
", "r"), DatumRead
浏览 4
提问于2015-05-20
得票数 4
1
回答
Quarkus
Kafka
将异常反序列化为死信队列
error-handling
、
apache-kafka
、
deserialization
、
quarkus
、
smallrye
为了满足服务
的
可靠性,我需要使用
kafka
-smallrye
和
quarkus将无法反序列化
的
所有传入
消息
推入死信主题。主题上
的
所有
消息
都应该是
avro
格式(但我不能确定),在模式注册中心上有一个定义模式。我已经以这样
的
方式设置了我
的
使用者
的
配置: messaging: test-in: connector: smallrye-<em
浏览 11
提问于2020-11-12
得票数 1
回答已采纳
3
回答
无法将
消息
从生产者发送到
消费
者
windows
、
apache-kafka
、
apache-zookeeper
、
kafka-producer-api
kafka
-console-
consumer
.bat --bootstrap-server localhost:2181 --topic baeldung
kafka
-console-producer.bat--broker-list localhost:9092 --topic baeldung
消息
不会从生产者传递到
消费
者。
浏览 0
提问于2018-12-20
得票数 1
1
回答
如
何在
confluent
kafka
中
调试AvroConsumer?
python
、
apache-kafka
、
avro
、
kafka-python
、
confluent-kafka-python
我正在尝试从python
中
读取
Kafka
,但接收
消息
为None,CLI
中
没有错误。我使用端口通过putty转发到目标主机,然后通过telnet测试端口-它工作得很好。kafkacat -C -b localhost:9092 -t topic1 -p 0 -o beginning -s
avro
-r http://localhost:28081 我正在使用PyCharm,我
的
代码在下面的文本
中
。from confluent_
kafka</e
浏览 48
提问于2020-08-13
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
分布式消息队列Kafka学习笔记
深入理解Kafka Connect:转换器和序列化
中国民生银行大数据团队Kafka1.X管控实践
如何将kafka中的数据快速导入Hadoop?
Kafka 设计解析(一):Kafka 背景及架构介绍
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券