腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(4310)
视频
沙龙
1
回答
仅
当
两条
消息
堆叠
时
,
Kafka
消费者
才
阅读
消息
java
、
kafka-consumer-api
我们有一个
kafka
制作人,它偶尔会产生一些
消息
。 我写了一个
消费者
来消费这些
消息
。问题是,只有当其中2个
消息
堆叠
时
,才会使用这些
消息
。例如,如果一条
消息
是在13:00产生的,那么
消费者
不会做任何事情。如果在13:01产生另一条
消息
,
消费者
将同时消费这
两条
消息
。在kafkaTool的
消费者
属性中,有一个名为LAG的列,
当
浏览 4
提问于2019-10-11
得票数 1
3
回答
Broker (
Kafka
和RabbitMQ)
rabbitmq
、
apache-kafka
在讨论卡夫卡和RabbitMQ的区别
时
,“哑巴经纪人”和“智能经纪人”在与
消费者
的互动中不断出现。卡夫卡被描述为有一个愚蠢的经纪人,而RabbitMQ据说有一个聪明的经纪人/愚蠢的
消费者
模型。
浏览 5
提问于2017-08-28
得票数 11
1
回答
我们可以收听
Kafka
Consumer的特定键控
消息
吗?
apache-kafka
、
kafka-consumer-api
、
kafka-producer-api
我对
Kafka
非常陌生。我有一个要求,我只需要
阅读
一些特定的
消息
。 为此,我将向
Kafka
推送一条
消息
,其中包含一些键和值。有没有办法让
消费者
订阅特定的密钥列表。因此,
当
消息
推送到
Kafka
时
,如果
消息
具有
消费者
正在侦听的密钥,则
消费者
将进行消费。
浏览 2
提问于2016-09-29
得票数 2
3
回答
卡夫卡中的"__consumer_offsets“主题是什么?
apache-kafka
当我运行这个命令
时
,我得到了2个主题。我知道我创建了测试主题,但我看到了一个名为"__consumer_offsets“的附加主题。从名称上看,它意味着它与
消费者
偏移量有关,但它是如何使用的呢?$ bin/
kafka
-topics.sh --list --zookeeper localhost:2181 __consumer_offsets test $ bin/
kafka
-topics.shTopic: __consumer_offsets Partition: 49 Le
浏览 5
提问于2018-12-13
得票数 3
1
回答
如果我的
kafka
用户组在每次重启后发生更改,会发生什么情况
spring-boot
、
apache-kafka
、
kafka-consumer-api
、
spring-kafka
、
kafka-producer-api
例如,我的
kafka
消费者
(在consumer Group 1中)正在
阅读
来自
Kafka
主题A的
消息
。 现在,如果该
消费者
在失败之前消费了12条
消息
。
当
消费者
重新启动,并且现在它有不同的
消费者
组(即
消费者
组2)
时
,问题1 -?在重启
时
,它会从偏移量(或位置)中停止的地方继续,因为该偏移量是由
Kafka
和/或ZooKeeper存储的,还是
浏览 1
提问于2021-02-04
得票数 0
1
回答
如何在Apache
Kafka
中进行扇出?
apache-kafka
、
apache-kafka-streams
我需要为所有
消费者
发送
消息
,但在检测谁应该收到此
消息
之前,如何使用
Kafka
执行此操作? 我是否应该使用Kafks stream来过滤数据,然后发送给
消费者
?据我所知,每个
消费者
都应该被添加到唯一的消费群体中,但如何实时检测,谁必须收到
消息
?
浏览 19
提问于2020-05-13
得票数 2
回答已采纳
5
回答
Kafka
主题和偏移量
apache-kafka
我有一个问题,假设有一个主题T1,有两个
消费者
C1,C2属于两个不同的组,当前偏移量是0。我们知道
Kafka
维护consumer.So的偏移量,如果C1消费
消息
,偏移量变成1,那么如果C2消费
消息
,它是从1偏移量开始还是从0偏移量开始消费
消息
?意味着如何维护两个不同
消费者
组的偏移量?
浏览 1
提问于2020-02-20
得票数 0
1
回答
卡夫卡
消费者
关机后信息丢失状态
python
、
message-queue
、
apache-kafka
我把
kafka
和python的
消费者
一起使用。
当
消费者
运行起来,信息被推送到卡夫卡,然后被
消费者
阅读
时
,一切都很好。然而,如果
消费者
因为任何原因而下降,
当
它回来的时候,它只读取新的信息,这些信息是在
消费者
恢复后发布到
kafka
的。关机-电源之间的
消息
丢失了,也就是说,用户在恢复后不会读取这些
消息
。就是我用来创造
消费者
的东西。
浏览 3
提问于2016-01-08
得票数 0
回答已采纳
3
回答
Kafka
流用例
apache-kafka
、
apache-kafka-streams
我正在构建一个简单的应用程序,如下所示-2)将这些信息写到卡夫卡主题上。我知道
Kafka
有新的streams,它在速度/简单性等方面应该比
Kafka
消费者
更好。
浏览 7
提问于2017-04-19
得票数 7
回答已采纳
1
回答
通过拒绝确认重读卡夫卡主题的信息
spring-integration
、
apache-kafka
我使用spring-integration-
kafka
实现了使用自定义确认机制的
Kafka
使用者。 使用了来自的代码。我试图实现的是,
当
抛出异常
时
,不应该将确认发送回
Kafka
(即不执行偏移提交),因此下一个fromKafka.receive(10000)方法调用将返回与前一个方法相同的
消息
。但我面临一个问题:即使确认没有发送给
Kafka
,
消费者
也不知何故知道下一条
消息
的偏移量,并继续
阅读
新
消息
,
浏览 3
提问于2015-10-21
得票数 5
3
回答
让
Kafka
消费者
一次只读一条
消息
apache-kafka
我们有
Kafka
设置,以便能够通过多个服务器并行处理
消息
。但每条
消息
必须只处理一次(并且只由一台服务器处理)。我们已经启动并运行了它,它工作得很好。现在,我们面临的问题是,
Kafka
的
消费者
为了获得最大的效率而批量
阅读
消息
。这会导致一个问题,如果/
当
处理失败
时
,服务器关闭或其他什么,因为我们丢失了即将处理的数据。有没有办法让
消费者
一次只读
消息
,让
Kafka
保留未处理的<e
浏览 0
提问于2015-08-17
得票数 13
4
回答
Apache
Kafka
交付订单
apache-kafka
、
kafka-consumer-api
假设我有一个
Kafka
制作人。此时,
消费者
正在收听主题T1和T2。每当它看到topic T2上的
消息
时
,它都会查找topic T1上的相关
消息
。 是否可以保证每当
消费者
看到主题M2上的
消息
T2
时
,都会看到主题T1上的
消息
M1?(因为在M2之前编写了M1 )
浏览 2
提问于2017-01-16
得票数 1
1
回答
向多个微服务发送
消息
(只有一个实例)
spring-boot
、
ibm-mq
我在考虑使用像ibm mq这样的
消息
传递软件。如果微服务x发送了一个事件x.created。 我想让Y和Z得到它..。但只有一个y和z的实例。我开始了,但我认为为了做到这一点,我需要向两个队列发送
消息
浏览 25
提问于2019-11-25
得票数 1
1
回答
AkkaHttp背压什么时候起作用?
http
、
tcp
、
akka
、
akka-http
、
backpressure
当
http响应实体未被使用时,或者客户端tcp缓冲区变满
时
,或者
当
客户端从其tcp缓冲区中取出数据的速率低于服务器向其推送数据的速率
时
?我正在寻找一种方法来实现以下目标:但是,让我们假设客户端是一个浏览器,并且不可能公开直接的
Kafka
协议/连接。此外
浏览 18
提问于2020-05-20
得票数 0
1
回答
Kafka
有批量
消费者
吗?
apache-kafka
高级
消费者
API似乎是一次读取一条
消息
。如果
消费者
想要处理这些
消息
并将其提交给其他下游
消费者
,比如Solr或Elastic-Search,这对他们来说可能是一个很大的问题,因为他们更喜欢批量发送
消息
,而不是一次只有一个。在内存中对这些
消息
进行批处理也不是一件容易的事,因为
Kafka
中的偏移量只有在批处理已经提交
时
才
需要同步,否则具有未提交下游
消息
的崩溃的
kafka
消费者</
浏览 2
提问于2016-03-04
得票数 9
1
回答
重构卡夫卡信息的可能原因
go
、
apache-kafka
、
kafka-consumer-api
、
sarama
这些
消息
是两天前使用的(从日志中确认)。我用的是金卡夫卡的客户。sarama.NewConfig()config.Consumer.Offsets.Initial = sarama.OffsetOldest 在声明
消息
之前,我们正在处理混乱,因此似乎我们至少使用了一次
kafka
的发送策略。
浏览 0
提问于2019-07-02
得票数 0
回答已采纳
1
回答
如何使用
Kafka
Java api检查
消费者
数据
apache-kafka
、
kafka-consumer-api
、
kafka-producer-api
这是我的
消费者
代码: props.put("group.id", "testgroup"); props.put("
kafka
.topic/
kafka
-server-
浏览 0
提问于2016-04-03
得票数 0
2
回答
Python
Kafka
客户端-无错误但不工作
python
、
python-3.x
、
apache-kafka
、
confluent-platform
、
ibm-eventstreams
我正在使用python运行confluent_
kafka
客户端。目前,我在尝试生产和消费
消息
时
没有收到任何错误,但问题是生产者说它成功了,但是
消费者
找不到任何
消息
。json """ """ def __init__(self,
kafka
_brokers_sasl, api_key
kafka</
浏览 8
提问于2018-10-10
得票数 2
1
回答
保证处理-如何在两个基于
消息
的服务之间实现?
spring-boot
、
apache-kafka
、
messaging
这些服务基于
消息
并通过Apache进行通信(服务1的主题1 ->服务2,服务2 ->服务1的另一个主题)。 我面临的问题是:我必须确保服务2处理每条
消息
,然后通过服务1将其保存回数据库。 例如:服务2读取来自<em
浏览 2
提问于2022-07-06
得票数 0
5
回答
Kafka
Consumer:如何在Python中从最后一条
消息
开始消费
python
、
apache-kafka
、
kafka-consumer-api
、
kafka-python
我使用的是
Kafka
0.8.1和
Kafka
python-0.9.0。在我的设置中,我有2个
kafka
代理设置。当我运行我的
kafka
消费者
时
,我可以看到它从队列中检索
消息
,并跟踪两个代理的偏移量。我的问题是,当我重新启动
消费者
时
,它会从头开始使用
消息
。我所期望的是,在重启
时
,
消费者
将从它死之前停止的地方开始消费
消息
。我确实试着跟踪Redis中的
消息</
浏览 3
提问于2014-07-10
得票数 8
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
“事件驱动架构”Apache Kafka中的事务
“消息中间件”Apache Kafka中的事务
“Kafka技术”Apache Kafka中的事务
RabbitMQ 消息顺序、消息幂等、消息重复、消息事务、集群
深入Kafka系列(二)consumer开发
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券