腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(1955)
视频
沙龙
1
回答
如何在特定doFun执行结束时在
Apache
梁中手动提交
Kafka
偏移量
、
、
我创建了一个简单的
Apache
光束
流管道,它从
Kafka
读取数据,进行一些处理,并通过调用一些外部服务的API来持久化结果。我希望确保在管道
重启
或失败期间不会丢失数据,因此我希望在特定doFun执行结束时成功调用接口后,手动将记录偏移量提交给
Kafka
。在我之前的
Kafka
经验中,我知道通过使用
Kafka
Consumer的below接口,我可以手动将记录偏移量提交给
Kafka
。consumer.commitSync(currentOffsets);
浏览 10
提问于2021-09-21
得票数 1
回答已采纳
1
回答
Apache
光束
:
Kafka
消费者
一次又一次
重启
、
、
、
我有一个非常简单的
光束
管道,它从
Kafka
主题读取记录,并将它们写入Pulsar主题: PipelineOptions options = PipelineOptionsFactory.create(<String>create()) p.run(); 根据我的理解,这应该恰好创建一个
Kafka
消费者
,将其价值推向管道。现在,由于某些原因,管道似乎
一次又一次
地重新启动,创造了多个
Kafka
消
浏览 12
提问于2019-06-07
得票数 1
回答已采纳
2
回答
当
Kafka
broker在
消费者
组协调方面失败时会发生什么情况?
、
当我作为
消费者
连接时,其中一个代理成为组协调器。然后我杀了一个经纪人(否则它就死了)。如果我尝试立即重新连接到代理,则会出现协调程序不可用错误。
Kafka
是如何知道经纪人死了的,需要多长时间才能指派一个新的协调员?它是如何配置的? 这本应在文档中,但我找不到。
浏览 2
提问于2017-08-08
得票数 3
1
回答
如何在
Apache
Beam中实现类似于Spark累加器的变量
我目前使用的是Spark中的
Apache
Beam2.29.0。我的管道使用来自
Kafka
的数据,我有一个自定义的KafkaConsumer,它是Beam通过调用ConsumerFactoryFn创建的。在运行期间,我需要在自定义
Kafka
消费者
之间共享一段持久数据。在Spark中,这将非常简单,我将创建一个累加器变量,所有的执行器以及驱动程序都可以访问该变量。由于
光束
被设计为在多个平台上运行,Spark,Flink,Google Dataflow,它不提供此功能。有谁知道实现这一点的方法吗?
浏览 16
提问于2021-09-10
得票数 0
1
回答
Spring
Kafka
消费已被
消费者
消费的旧消息
、
、
、
我有一个Spring启动应用程序,使用的是Spring
Kafka
。我们已经创建了一个
消费者
,它使用来自4个主题的消息。这些主题没有任何分区。我在这里面临的问题是rendom行为,在三个主题中,在任何一个主题中,offset stop和我的
消费者
一次又一次
地消费来自该主题的相同消息,直到我们需要手动将偏移量移动到latest.below,这就是我拥有的配置YAML配置: spring: consumer: bootstrap-servers: ${
KAFKA<
浏览 17
提问于2020-04-27
得票数 1
1
回答
当
kafka
消费者
实例在服务器
重启
时动态更改group.id时
当
kafka
消费者
实例
重启
时,其
消费者
group.id在每次
重启
时都会发生变化。有这样的行为是好的吗,还是会影响
kafka
的性能?
浏览 9
提问于2018-08-27
得票数 0
1
回答
卡夫卡
消费者
升级到.9
、
嗨,我正在致力于将
kafka
升级到.9,并将
kafka
消费者
升级到与.9一起发布的新java
消费者
。在升级时,我正在使用现有的主题,步骤只是停止.8
kafka
并启动指向相同log.dirs的.9
kafka
,在
消费者
端,我使用相同的组名和主题名称,但新的
消费者
正在从主题中的起始位置再次消费消息。是否知道为什么会发生这种情况,或者我们需要首先与.8
消费者
一起使用所有消息,并让延迟变为0。谢谢,桑尼
浏览 0
提问于2016-05-05
得票数 0
1
回答
Kafka
0.10.2
消费者
收到大量重复数据
、
、
、
它是相同的10个
消费者
,
一次又一次
地使用相同的3269条消息,直到我终止该进程。如果我放手,
消费者
将写入数万条记录,大量增加了真正应该进入数据库的数据量。然而,我不确定为什么
消费者
会
一次又一次
地重复使用队列。我知道
Kafka
消息在消费后不会被删除,但如果所有的
消费者
都在同一个群组中,偏移应该可以防止这种情况,对吧?"); props.put("value.serializer", "org.
apache</
浏览 7
提问于2017-04-13
得票数 0
1
回答
如果我的
kafka
用户组在每次
重启
后发生更改,会发生什么情况
、
、
、
、
例如,我的
kafka
消费者
(在consumer Group 1中)正在阅读来自
Kafka
主题A的消息。 现在,如果该
消费者
在失败之前消费了12条消息。当
消费者
重新启动,并且现在它有不同的
消费者
组(即
消费者
组2)时,问题1 -?在
重启
时,它会从偏移量(或位置)中停止的地方继续,因为该偏移量是由
Kafka
和/或ZooKeeper存储的,还是会从第一条消息开始消费消息。问题2->有没有办法确保在
重启
时(当<
浏览 1
提问于2021-02-04
得票数 0
2
回答
当一个
消费者
宕机/崩溃时,
Kafka
消费者
行为
、
、
我的主题有115个分区和大约130个
消费者
。我预计115个
消费者
处于活动状态(一对一分配),其余15个
消费者
处于空闲状态。 有几次,我观察到高内存和JVM处于挂起状态,这是由于触发了重新平衡。此外,在应用程序
重启
的情况下(我的应用程序是每个JVM的分布式单线程/使用者),重新平衡是如何表现的?当节点一个接一个地启动(滚动
重启
)时,重新平衡是否会发生115次(即,每次有新的
消费者
加入组),或者在启动重新平衡之前应用一些阈值/等待(以确保所有健康的节点都加入应用程序)?
浏览 16
提问于2018-11-30
得票数 1
1
回答
作为代理的子集的
Kafka
bootstrap.servers配置值
、
、
、
对于
kafka
bootstrap.servers配置,应该提供所有代理的详细信息。如果是,添加节点后生产者/
消费者
是否需要
重启
?
浏览 10
提问于2017-07-05
得票数 1
回答已采纳
2
回答
Apache
Beam over
Apache
Kafka
流处理
、
、
、
Apache
Beam和
Apache
Kafka
在流处理方面有什么不同?我也在努力掌握技术和编程上的差异。 请通过您的经验报告来帮助我理解。
浏览 1
提问于2018-06-15
得票数 10
2
回答
如何正确
重启
kafka
服务器?
、
每次我停止
kafka
服务器并重新启动它时,它不能正常启动,我必须重新启动我的整个机器并启动
kafka
服务器。有没有人知道怎么不用
重启
机器就能
重启
kafka
服务器?实际上,我想从上一次会话中终止
消费者
。Zeinab
浏览 6
提问于2018-07-20
得票数 14
2
回答
阅读由debezium postgres连接填充的Docker
Kafka
消息
、
、
、
(org.
apache
.
kafka
.clients.NetworkClient) 2019-06-03 21:55:16,289警告
消费者
客户55=
消费者
-1,群55=控制台-
消费者
-5221连接到节点(org.
apache
.
kafka
.clients.NetworkClient) 2019-06-03 21:55:16,443警告
消费者
客户55=
消费者
-1,群55=控制台-
消费者
-5221连接到节点(org.<em
浏览 2
提问于2019-06-04
得票数 0
1
回答
很少有
kafka
分区没有分配给任何flink使用者
、
、
但是,即使在多次
重启
之后,很少有
kafka
分区不是由任何flink工作者订阅的。org.
apache
.
kafka
.clients.consumer.KafkaConsumer assign Subscribed to partition(s): topic_name-13, topic_name-8, topic_name-9 org.
apache
.
kafka
.clients.consumer.KafkaConsumer assign Subscribed to partition(
浏览 10
提问于2020-09-08
得票数 1
回答已采纳
2
回答
卡夫卡独立
消费者
、
、
我是第一次接触
Kafka
,正在尝试验证我的设计。下面是我所拥有的。 我有一个生产者发布到一个主题,并有一堆容器(我的web应用程序部署在那里),其中一个
消费者
在每个容器上运行。这些
消费者
不在
消费者
组中,并且独立地消费消息。每个使用者都应该阅读该主题中的所有消息。每个
消费者
在处理读取消息后都会立即提交offset。每当重新部署我的web应用程序时,所有使用者都会停机并重新启动。它们应该从上次提交的偏移量开始读取。对于这个设置,正如我所说的,我所有的
消费者
都不在任何
消费者
组
浏览 22
提问于2019-03-19
得票数 3
回答已采纳
1
回答
在未调用acknowledgment.acknowledge();之后恢复
Kafka
使用者
、
、
我已经实现了一个简单的
Kafka
消费者
,它实现了AcknowledgingMessageListener。因此,应用程序崩溃,但在
重启
后,它没有收到来自受影响的
Kafka
主题的任何消息。即使
Kafka
重启
也无济于事,应用服务器
重启
也无济于事等等,但是其他的主题都工作得很好,
Kafka
并没有宕机。什么是正确的
Kafka
消费者
(或其他)配置,使应用程序在onMessage中崩溃后再次工作?我想再次删除未确认的消息,然后删
浏览 2
提问于2017-11-02
得票数 0
1
回答
Kafka
消费者
诉
Apache
Flink
、
、
、
、
我做了一个poc,在其中我使用火花流读取来自
Kafka
的数据。但是我们的组织要么使用
Apache
或者
Kafka
使用者来读取
Apache
中的数据作为一个标准过程。所以我需要用
Kafka
消费者
或者
Apache
来代替
Kafka
流媒体。在我的应用程序用例中,我需要从
kafka
读取数据,过滤json数据,并在cassandra中放置字段,因此建议使用
Kafka
使用者,而不是flink/其他流,因为我实际上不需要对<e
浏览 4
提问于2017-03-26
得票数 0
1
回答
没有外挂命令,我怎么能安全地重新启动卡夫卡-经理?
、
我的
kafka
经理无法更新
消费者
信息并保留已删除的
消费者
组列表,因此我尝试重新启动
kafka
-manager。(我用的是卡夫卡经理1.3.3.22和
kafka
2.12-2.1.1) 但是卡夫卡管理器和/bin/
kafka
管理器命令中的README.md似乎没有提供停止/重新启动。有没有办法安全地
重启
或终止卡夫卡-经理?没有“杀死-9 PID”的推荐
浏览 6
提问于2020-05-29
得票数 3
回答已采纳
1
回答
春季引导
kafka
hello world应用程序不能以“未能绑定属性under...to.”开头
、
、
、
=localhost:9092 spring.
kafka
.consumer.auto-offset-reset=earliestspring.
kafka
.consumer.key-deserializer=org.
apache
.
kafka
.common.serialization.StringDeserializer spring.
kafka
.consumer.value-deserializer=org.<
浏览 5
提问于2019-10-17
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
如何在Kerberos环境使用Flume采集Kafka数据并写入HDFS
Kafka入门&介绍part1
使用Apache Kafka的Golang实践指南
Apache Kafka 2.0.0 正式发布,多项重要功能更新
Apache Kafka 3.0.0持续更新共识机制KRaft,并着手清理旧支持与设置
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券