腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(3344)
视频
沙龙
1
回答
Docker
Kafka
Avro
控制台
消费者
-
连接
被
拒绝
java
、
apache-kafka
、
docker-compose
、
confluent-platform
因此,我正在学习
Kafka
,并尝试在一个
docker
组合文件的帮助下在本地环境中设置它。我遵循下面的示例: https://docs.confluent.io/5.0.0/installation/
docker
/docs/installation/connect-
avro
-jdbc.html--from-beginning --max-messages 10时,我收到以下消息,其中我无法确定它试图
连接
的是什么: [2020-1
浏览 30
提问于2020-10-08
得票数 0
2
回答
如何从
Kafka
主题中转储
avro
数据并在Java/Scala中读取
apache-kafka
、
avro
为了测试目的,我们需要从
Kafka
主题导出生产数据:数据是用
Avro
编写的,模式
被
放在schema注册表中。使用
kafka
-
avro
-console-consumer:它生成一个json,其中也包含一些字节,例如在反序列化BigDecimal时。毕竟,卡夫卡
控制台
消费者
不是已经是一个拥有可配置选项的
消费者
了吗? 使用卡夫卡
连接
水槽。难道没有一种简单、简单的方法可以将包含
avro
数据的<em
浏览 0
提问于2018-03-03
得票数 1
2
回答
使用
kafka
-
Avro
-console-consumer获取二进制数组形式的
avro
记录
apache-kafka
、
avro
、
confluent-platform
、
confluent-schema-registry
我有一个卡夫卡生产者发送
Avro
记录到一个“测试”的主题。我还有一个Schema Registry,其中存储了每条记录的模式。在此之后,我使用以下命令来检索我发送的格式,而是一个遵循
Avro
二进制格式的Bytes数组。我试着用 --value-deserializer io.confluent.
kafka
.serializers.Ka
浏览 0
提问于2018-06-28
得票数 0
1
回答
使用
avro
的
Kafka
控制台
生产商
spring-boot
、
apache-kafka
、
confluent-platform
我正试图使用apache-
kafka
二进制文件中的
kafka
-
控制台
-生产者来生成消息,并在春季启动时从
消费者
设置中消费。使用者使用
avro
架构。我找到了一个解决方案来使用“7.1”,其中有
kafka
-
avro
-console-producer。它支持
avro
,但它是企业版。是否有一种方法可以使用apache-
kafka
与
kafka
控制台
生产者一起使用
avro
模式来生成/
浏览 6
提问于2022-04-26
得票数 0
回答已采纳
1
回答
Kafka
控制台
用户读取HDP 3中的
avro
消息
apache-kafka
、
kafka-consumer-api
、
cloudera
、
hdp
尝试使用来自
控制台
消费者
的
kafka
Avro
消息,但不确定如何反序列化消息。sh /usr/hdp/current/
kafka
-broker/bin/
kafka
-console-consumer.sh --bootstrap-server localhost:6667 --topic测试主题的架构注册表中的
Avro
架构为: "type": "record", &
浏览 0
提问于2020-04-02
得票数 2
2
回答
卡夫卡-
连接
FileStreamSourceConnector不会产生一个主题
apache-kafka
、
apache-kafka-connect
我试图创建一个卡夫卡
连接
连接
器,从一个
AVRO
主题到一个文件。水槽工作正常,我可以看到接收器文件正在增长,并读取数据。我没有错误,我已经重置了偏移量,我创建了一个新的
Kafka
连接
并尝试恢复,我创建了一个完整的新
Kafka
集群,并且始终是相同的,源
连接
器上没有错误,但是主题是空的。在这里,源
连接
器配置的输出: "name": "res
浏览 1
提问于2019-02-08
得票数 1
1
回答
KSQL流未从主题中获取输出
confluent-platform
、
ksqldb
我已经将
kafka
连接
到mysql。该主题包含
AVRO
格式的数据。现在,我想将该数据转换为CSV格式。为此,我使用了KSQL流。当我像这样创建流时(如果我用相同的主题运行
消费者
命令,它会显示数据),然后给select * from source_
avro<
浏览 1
提问于2019-04-23
得票数 1
2
回答
在boot2
docker
中运行卡夫卡时使用JMX的卡夫卡监控
docker
、
boot2docker
、
apache-kafka
我试图让JMX监控来监控一个测试
kafka
实例。 我有卡夫卡(千斤顶/卡夫卡)运行在码头通过boot2
docker
,但我不能得到正确配置的JMX监控。我已经做了大量的故障排除,我知道
kafka
实例正在正常运行(
消费者
和生产者都在工作)。当我尝试简单的JMX工具(j
控制台
和jvisualvm)而两者都无法
连接
(不安全的
连接
错误,
连接
失败)时,就会出现问题。配置注意事项:我
连接
到192.168.59.103 (运行'b
浏览 1
提问于2015-07-01
得票数 2
回答已采纳
6
回答
Kafka
控制台
消费者
:如何只获取一个主题的最后N条消息,而不是从头开始获取所有消息?
apache-kafka
/bin/
kafka
-
avro
-console-consumer --zookeeper 10.0.0.225:2181/
kafka
--topic myTopic --property schema.registry.url我如何使用
kafka
控制台
消费者
做到这一点?
浏览 2
提问于2016-08-17
得票数 29
1
回答
kafka
管道的Spring启动应用程序,错误为“无法建立到节点1的
连接
。代理可能不可用”。
java
、
spring-boot
、
http
、
apache-kafka
、
spring-cloud-stream
bindings: destination: employee-details output: content-type: application/*+
avro
kafka
: producer-p
浏览 196
提问于2020-02-27
得票数 1
回答已采纳
2
回答
如何在
Kafka
-Connect接口中设置max.poll.records
apache-kafka
、
apache-kafka-connect
我正在使用confluent-3.0.1平台并构建一个
Kafka
-Elasticsearch
连接
器。为此,我扩展了SinkConnector和SinkTask (
Kafka
-connect API)以从
Kafka
获取数据。
浏览 3
提问于2016-11-10
得票数 0
1
回答
使用python使用者将
avro
序列化消息转换为json。
python
、
apache-kafka
、
kafka-consumer-api
、
avro
、
kafka-python
= ['
kafka
:9092'] topic = "ldt_lm_mytable" print('Lead =我正在使用
avro
转换器产生数据到主题(Debezi
浏览 39
提问于2021-01-27
得票数 0
回答已采纳
2
回答
阅读由debezium postgres
连接
填充的
Docker
Kafka
消息
postgresql
、
docker
、
apache-kafka
、
debezium
55=
消费者
-1,群55=
控制台
-
消费者
-5221
连接
到节点-1 (
kafka
/23.202.231.166:9092)。(org.apache.
kafka
.clients.NetworkClient) 2019-06-03 21:55:16,289警告
消费者
客户55=
消费者
-1,群55=
控制台
-
消费者
-5221
连接
到节点(org.apache.
kafka
.clients
浏览 2
提问于2019-06-04
得票数 0
2
回答
无法在
kafka
集群设置中读取来自
kafka
消费者
的消息
apache-kafka
、
kafka-consumer-api
、
kafka-cluster
我在一个
kafka
集群中创建了两个
kafka
brokers。当一个经纪人宕机时,我无法将任何数据提供给
kafka
消费者
。我使用这个命令来读取来自
消费者
的消息: --bootstrap-server
浏览 10
提问于2021-01-22
得票数 0
3
回答
如何从
kafka
avro
记录生成pojo?
java
、
apache-kafka
、
avro
、
confluent-schema-registry
我有一个User类,我将它序列化为
avro
(使用Confluent
avro
序列化程序和模式注册表),并将其发布到
Kafka
主题。我让一个
消费者
将数据打印到
控制台
上,它工作得很好。例如,我将"User“对象作为
avro
发布到
Kafka
topic。在使用user对象(而不是
控制台
输出)之后,我正在尝试重新创建它。这个是可能的吗?return name; public void setName(String name)
浏览 0
提问于2018-05-04
得票数 2
1
回答
解码
Avro
decimal-as-bytearray字符串
python
、
python-3.x
、
apache-kafka
、
avro
我正在使用带有
Avro
消息的
Kafka
。a_number", "logicalType": "decimal", "scale": 4 使用
Avro
控制台
消费者
时,我看到如下消息: {"a_number": "\t\u0000°"
浏览 2
提问于2018-11-22
得票数 0
1
回答
如何从apache生成卡夫卡主题中的
Avro
信息,然后使用
kafka
流阅读?
apache-kafka
、
avro
、
apache-nifi
我想使用apache在
kafka
主题中生成一些通用数据,我希望这些数据是
avro
格式的。streams =新KafkaStreams(拓扑、属性);streams.start();} 结果,我得到了错误: 由: org.apache.
kafka
.common.errors.SerializationException:错误反序列化id -1的
Avro
消息引起: org.apache.
kafka
.common.errors.SerializationEx
浏览 1
提问于2018-10-09
得票数 1
回答已采纳
1
回答
Kafka
源与
Avro
源使用水槽将数据读写到
kafka
通道
apache-kafka
、
flume
、
avro
、
flume-ng
、
kafka-consumer-api
在我看来,如果用
Avro
-source替换
Kafka
-source,我将无法从
Kafka
broker的多个分区并行读取数据,因为在
Avro
-source的情况下没有指定的
消费者
组。
浏览 4
提问于2015-11-23
得票数 0
回答已采纳
1
回答
Kafka
:所有消息在流中失败,数据在主题中
apache-kafka
、
apache-kafka-connect
、
confluent-platform
、
ksqldb
从开头打印主题: ksql> print 'post_users_t' from beginning limit 2; Key format: SESSION(
AVRO
) or HOPPING(
AVRO
) or TUMBLING(
AVRO
) or
AVRO
or SESSION(PROTOBUF) or HOPPING(PROTOBUF) or TUMBLING(PROTOBUF) or PROTOBUF) or HOPPING(
KAFKA
_INT) or TUMBLING(<e
浏览 13
提问于2020-04-02
得票数 0
回答已采纳
1
回答
Kafka
NodePort服务在集群之外是不可访问的。
apache-spark
、
kubernetes
、
apache-kafka
、
kubernetes-helm
我检查了
控制台
Kafka
生产者和
消费者
与相同的主机和端口-他们正常工作。然而,当我创建作为数据
消费者
的火花应用程序和作为生产者的卡夫卡,他们无法
连接
到卡夫卡service0。我看到NodePort服务解析端点,而代理被发现为寻址的豆荚和端口:WARN NetworkClient: [Consumer
浏览 0
提问于2019-01-24
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
深入理解Kafka Connect:转换器和序列化
分布式消息队列Kafka学习笔记
如何将kafka中的数据快速导入Hadoop?
基于Kafka技术栈构建和部署实时搜索引擎的实践
SpringBoot RabbitMQ 整合使用
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券