腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(3912)
视频
沙龙
1
回答
是否可以从群中删除
Kafka
消费者
重新加入群
apache-kafka
、
kafka-consumer-api
由于
会话
超时
而被从
消费者
组
中移除的
Kafka
消费者
是否有可能重新加入该
组
?
浏览 2
提问于2021-03-02
得票数 0
1
回答
Kafka
python
消费者
组
会话
超时
python
、
apache-kafka
、
kafka-consumer-api
、
producer-consumer
、
confluent-platform
我使用confluent-
kafka
v1.3.0,我有以下
消费者
组
会话
超时
的问题。我的配置如下所示: c['
KAFKA
'] = { 'consumer': {一切都很好,但我每时每刻都会遇到这样的错误: {"asctime":"2020-04-27 08:42:2
浏览 134
提问于2020-04-27
得票数 3
1
回答
卡夫卡的session.timeout.ms和max.poll.interval.ms差异
apache-kafka
、
kafka-consumer-api
、
kafka-producer-api
AFAIK,max.poll.interval.ms是在
Kafka
0.10.1中介绍的。因为我在POC中观察到,
消费者
再平衡在到达max.poll.interval.ms之前是不会发生的。 所以对我来说,session.timeout.ms似乎是多余的。
浏览 4
提问于2020-02-04
得票数 2
回答已采纳
1
回答
组
中的
Kafka
使用者跳过分区。
apache-kafka
、
kafka-consumer-api
、
apache-kafka-streams
我有一个
消费者
,它消耗了一个话题。主题有6个分区。分配给
组
的单个使用者。我做投票,如下面的Consumer.poll(10000),我退出
消费者
获取时,没有记录返回。顺便说一下,我使用了2.0.1
Kafka
客户端,
Kafka
服务器版本是2.11-2.2.0。 任何人都知道为什么我的使用者跳过其他分区并返回空的records.what来使用所有分区。
浏览 1
提问于2020-01-23
得票数 1
回答已采纳
3
回答
如何使用
python
列出
Kafka
消费者
组
python
、
apache-kafka
、
kafka-consumer-api
我想用
python
获取
Kafka
用户
组
列表,但是我不能。./
kafka
-consumer-groups.sh -bootstrap-server localhost:9092 -list
浏览 6
提问于2018-08-29
得票数 3
回答已采纳
1
回答
Kafka
增加处理
超时
消息
apache-kafka
、
kafka-consumer-api
在
kafka
使用者中,如果消息的处理时间超过5分钟,则消息是新处理的,我已经将使用者配置为增加"max.poll.interval.ms“和session.timeout.ms。7200000 (2小时) session.timeout.ms= 7200000 (2小时) request.timeout.ms=7206000 (~2小时) 这开始起作用了,在那之后,它是重新平衡的,我在
消费者
身上得到了这个错误
浏览 3
提问于2019-10-18
得票数 4
2
回答
kafka
消费者
会话
超时
apache-kafka
、
kafka-consumer-api
我们有一个应用程序,
消费者
读取消息,线程执行许多操作,包括在消息被生成到另一个主题之前访问数据库。在线程上消费消息和生成消息之间的时间可能需要几分钟。一旦向新主题生成了消息,就会执行一次提交,以指示我们已经完成了对
消费者
队列消息的处理。由于这个原因,自动提交被禁用。我使用的是高级
消费者
,我注意到zookeeper和
kafka
会话
超时
,因为我们在
消费者
队列上做任何事情之前花费的时间太长了,所以
kafka
最终在每次线程返回以从
消费者
队列读
浏览 2
提问于2014-12-20
得票数 9
回答已采纳
1
回答
Apache
Kafka
:对
消费者
组
进行程序化监控
python
、
apache-kafka
、
kafka-consumer-api
、
confluent-platform
、
kafka-python
我想从
Python
应用程序中监控我的
Kafka
集群中的
消费者
组
(基于
Kafka
的
组
,而不是ZK) (我愿意使用
Kafka
-
python
库和confluent
Kafka
客户端中的任何一个)。其目的是根据每个
消费者
组
的滞后推出更多(或删除一些)
消费者
。 confluent
Kafka
admin API似乎没有
Python
选项来实现这一点。Burr
浏览 2
提问于2018-08-13
得票数 0
1
回答
卡夫卡集团的再平衡会导致越来越少的
消费者
存活吗?
apache-kafka
、
kafka-consumer-api
如果卡夫卡
消费者
在同步模式下消费信息,但是他们依赖的下游服务中断(例如。无法连接到DB)。卡夫卡协调者不断触发群体再平衡,最终所有的
消费者
都会死吗?
浏览 0
提问于2018-11-04
得票数 0
回答已采纳
2
回答
使用
python
库检索
kafka
中的
消费者
组
偏移量
python
、
apache-kafka
、
kafka-python
我有
python
脚本,并且需要使用
kafka
1 broker集群检索一
组
从
kafka
主题读取的
消费者
的当前
消费者
组
偏移量。这些是原生
kafka
消费者
,将偏移量存储在
kafka
集群中,而不是zookeeper中。 脚本本身不需要使用任何消息,只需读取其他使用者的当前偏移量。我意识到使用
kafka
-consumer-groups.sh可以做到这一点,但理想情况下,我希望避免依赖外壳命令。我已经可以利用d
浏览 1
提问于2018-03-12
得票数 3
1
回答
Kafka
消费者
-接收消息不一致
apache-kafka
、
kafka-consumer-api
我可以针对
Kafka
location安装在命令行上发送和接收消息。我还可以通过Java代码发送消息。这些消息显示在
Kafka
命令提示符中。我还有一个用于
Kafka
消费者
的Java代码。StringSerializer.class.getName()ProducerRecord<String, String>("test", "mykey", "myvalue")
消费者
zookeeper.
浏览 4
提问于2016-06-24
得票数 0
2
回答
kafka
-
python
-2.0.1大数据集的性能
python-3.x
、
apache-kafka
、
kafka-consumer-api
、
kafka-python
我正在使用
kafka
-
python
-2.0.1来消费来自
kafka
代理的数据。到目前为止,我只运行了一个
消费者
实例。我们每5分钟就会收到2M条记录。我注意到
kafka
-
python
不能以更快的速度读取数据以及时消费所有消息。我是
kafka
-
python
的新手,不确定如何实现才能更快地读取数据。我应该运行多个使用者吗?='SASL_SSL', sasl_mechanism = 'GSSAPI', auto_offs
浏览 31
提问于2020-11-06
得票数 0
4
回答
Kafka
消费者
,非常长的再平衡
apache-kafka
我们正在运行一个3代理
Kafka
0.10.0.1集群。我们有一个java应用程序,它可以从不同的主题中产生许多
消费者
线程。对于每个主题,我们指定了不同的消费群体。在此之前,该主题的
消费者
不会消费任何东西。如果我转到
Kafka
broker并运行consumer-groups.sh并描述那个特定的CG,我会看到它正在重新平衡。在server.log中,我看到这样的代码行这两个日志之间通常会有大约5分钟或更
浏览 2
提问于2018-07-13
得票数 10
1
回答
Zookeeper :连接
超时
apache-kafka
、
apache-zookeeper
我的Java应用程序在Linux机器上运行,该机器连接到在不同Linux机器上运行的Zookeeper和
Kafka
。有时,应用程序日志中会出现警告消息。
浏览 40
提问于2017-06-29
得票数 2
1
回答
Kafka
消费者
启动延迟融合dotnet
c#
、
apache-kafka
、
kafka-consumer-api
、
confluent-platform
起初我认为有一个自动主题创建开销,但无论
消费者
的主题/
消费者
组
是否已经存在,时间都是一样的。我使用此配置启动我的
消费者
,其余代码与融合的高级
消费者
示例中的代码相同: {"auto.offset.reset", "smallest"}
浏览 14
提问于2018-01-12
得票数 6
1
回答
卡夫卡
消费者
投票间隔
apache-kafka
我有一个
Kafka
主题,我已经附加了一个
消费者
到它(主题只有一个分区)。现在,对于
超时
,我使用默认值(心跳:3秒,
会话
超时
:10秒,Poll Timeout :5分钟)。根据文档,轮询
超时
定义了在其他代理将该使用者从使用者
组
中删除之前,使用者必须处理该消息。现在假设,用户只需1分钟就可以完成消息的处理。
浏览 2
提问于2021-02-04
得票数 1
2
回答
如何在仍然能够自动提交的同时手动分配分区?
apache-kafka
、
kafka-consumer-api
、
kafka-python
我正在尝试手动将分区分配给
消费者
组
中的每个
消费者
。但是,当您在
组
中添加使用者时,
Kafka
(或者至少是
kafka
-
python
)假定您希望
组
协调器完成所有任务。有没有办法仍然保留使用使用者
组
的所有好处(特别是自动提交),同时能够手动管理分配分区?我能写一个自定义的分区分配器吗? 我使用的是
kafka
-
python
1.3.3库。
浏览 8
提问于2017-09-20
得票数 2
3
回答
heartbeat.interval.ms与session.timeout.ms在卡夫卡
消费者
配置中的差异
apache-kafka
、
kafka-consumer-api
我目前正在运行
kafka
0.10.0.1,所讨论的两个值的相应文档如下: heartbeat.interval.ms -:当使用
Kafka
的
组
管理设施时,心跳到
消费者
协调员的预期时间。心跳用于确保使用者的
会话
保持活跃,并在新的使用者加入或离开组时促进再平衡。该值必须设置为低于session.timeout.ms,但通常不应高于该值的1/3。session.timeout.ms -用于在使用卡夫卡的
组
管理工具时检测故障的
超时
。当在
会话
浏览 8
提问于2017-05-10
得票数 17
回答已采纳
2
回答
卡夫卡
消费者
房产session.timeout.ms对heartbeat.interval.ms
apache-kafka
、
producer-consumer
我正在阅读卡夫卡,这是一本权威的指南,我看到了以下关于
消费者
的观点。 heartbeat.interval.ms必须低于session.timeout.ms,并且通常设置为
超时
值的三分之一。我可以知道为什么是这样的,我认为两者应该是相同的,比方说,如果我将session.timeout.ms设置为10,将心跳设置为3s,那么如果使用者需要更长的时间来处理记录,那么代理已经发送了调查结果,并计算出
消费者
已经死亡并重新平衡,在这种情况下,
会话
超时
属性的目的是什么。
浏览 0
提问于2019-12-09
得票数 5
5
回答
为什么我不能增加session.timeout.ms?
apache-kafka
0 [main] INFO org.apache.
kafka
.clients.consumer.ConsumerConfig - ConsumerConfig values: partition.assignment.strategy = [org.apache.
kafka
.clients.consumer.RangeAssignor(KafkaConsumer.java:624) at org.apache.
浏览 5
提问于2016-07-15
得票数 24
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
kafka之consumer
0502-CDSW中访问Kerberos环境下的Kafka
在家办公这些天整理的Kafka知识点大全
Kafka 第一篇 概述
微服务中台技术解析之分布式事务方案和实践
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券