腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(6670)
视频
沙龙
2
回答
Spark Streaming:
Kafka
重启后输入速率不正常
apache-kafka
、
spark-streaming
我目前正在spark上运行
一个
流媒体应用程序,它使用新
的
直接
方法
(没有接收器)消费
一个
简单
的
kafka
主题。由于我们在
Kafka
集群上遇到了一些问题,即使在
Kafka
上恢复正常后,流媒体应用程序也遇到了一些问题:一些作业正在处理几乎空
的
rdd,而另一些作业正在处理两倍大小
的
rdd。我在
Kafka
和Spark两边都没有发现任何堆栈或线索。 有人能告诉我如何解决这类问题吗?或者至少到哪里去看一看,以了解
浏览 0
提问于2016-05-18
得票数 0
1
回答
给定
一个
偏移量
列表
,
从
特定
的
Kafka
分区
读取
偏移量
的
最快
方法
是什么
?
apache-kafka
假设给出了
一个
数字
列表
,这些数字表示某些
特定
(主题、
分区
)中某些记录
的
偏移量
。将它们映射到相应记录
的
最佳方式
是什么
?附注:在adjancet数字之间可能有相当长
的
间隔,但有时它们往往是紧密组合
的
;所以你不能假设任何
特定
的
模式。
浏览 11
提问于2019-12-27
得票数 0
回答已采纳
2
回答
使用高级API
从
特定
偏移量
开始
读取
kafka
消息
apache-kafka
我希望我没有犯错,但我记得在
Kafka
文档中提到,使用高级API你不能从
特定
的
偏移量
开始
读取
消息,但它提到它会改变。我使用
的
是
kafka
0.8.1.1。 提前谢谢。
浏览 0
提问于2015-12-16
得票数 7
回答已采纳
1
回答
多连接器一主题分布式
Kafka
连接
elasticsearch
、
apache-kafka
、
apache-kafka-connect
分布式模式下
Kafka
Connect集群
的
Offset Management
的
行为
是什么
,即运行多个Connector并监听同一组主题(或
一个
主题)?因此,在分布式模式下,
Kafka
Connect将
偏移量
信息存储在
Kafka
中,该
偏移量
将被集群中
的
workers
读取
并提交。如果在该
Kafka
Connect集群中有多个Connector在监听同一主题,会发生什么情况?
分
浏览 15
提问于2019-07-01
得票数 2
1
回答
如何基于密钥快速检索卡夫卡消息?
apache-kafka
、
kafka-consumer-api
我有
一个
场景,当事务完成时,我需要测试
Kafka
消息。如何使用Java快速检索消息?我知道关键
的
前10位数字
的
细节,这是独特
的
。目前,我正在
读取
相关主题
的
所有
分区
和
偏移量
,这是不有效
的
(最坏
的
情况下需要2分钟才能获得密钥)。
浏览 1
提问于2022-10-30
得票数 0
2
回答
java通过唯一键在
分区
中获得消息
偏移量
java
、
apache-kafka
、
kafka-consumer-api
如果我所有的卡夫卡消息都包含
一个
唯一
的
键,那么
最快
的
将
是什么
方式来查询代理中
的
分区
中具有其唯一键
的
消息
的
偏移量
?假设我已经知道这个消息必须存在于这个代理和这个
分区
中。例如,我可以考虑
的
一种
方法
是重新处理
分区
中
的
所有消息,直到找到
特定
的
键为止。但是,如果您有超过一百万条消息,处理每条消息都是浪费
浏览 0
提问于2019-05-21
得票数 0
1
回答
如何在合流
kafka
rest代理中访问主题
的
最新
偏移量
来计算滞后
apache-kafka
、
kafka-rest
在合流
的
kafka
rest代理中,我们可以得到
特定
消费群体
的
最后提交
偏移量
,但是如何才能得到主题
的
最新
偏移量
来计算滞后值。
浏览 2
提问于2019-07-11
得票数 0
1
回答
卡夫卡中使用
偏移量
的
时光倒流
java
、
apache-kafka
是否有一种使用我们传递
的
初始属性
从
特定
偏移量
启动使用者
的
方法
? 附上我
的
简单消费者代码以供参考 impor
浏览 3
提问于2016-12-14
得票数 1
回答已采纳
1
回答
如何在不手动分配
分区
的
情况下精确实现一次
Kafka
使用者
apache-kafka
、
kafka-consumer-api
我正在浏览,它解释了如何通过执行以下操作来确保消息被正确地处理一次: 如您所见,它显式地指定要从哪个
分区
读取
消息。我觉得这不是个好主意,因为
浏览 12
提问于2019-09-20
得票数 3
回答已采纳
1
回答
再处理/再读卡夫卡记录/信息-消费者集团抵消重置
的
目的
是什么
?
apache-kafka
、
kafka-consumer-api
我
的
kafka
主题共有10条记录/消息和2个
分区
,每个
分区
有5条消息。我
的
使用者组有2个消费者,每个使用者已经分别从他们分配
的
分区
中
读取
了5条消息。现在,我希望
从
开始/开始重新处理/
读取
来自我
的
主题
的
消息(
偏移量
0)。.我
的<
浏览 3
提问于2019-06-27
得票数 4
1
回答
使用
偏移量
检索数据
apache-kafka
当我将数据写入卡夫卡制片时,我能得到唱片
的
偏移量
吗? 如果可以,请分享你
的
例子。
浏览 2
提问于2018-03-20
得票数 0
回答已采纳
3
回答
如何获取消费群体
的
上次消费
偏移量
?
java
、
apache-kafka
、
kafka-consumer-api
我在
一个
消费者组中有两个消费者,他们分配了相同
的
kafka
主题
分区
。我希望
从
消费者B内部获得消费者A
的
最后一次
读取
偏移量
。有什么想法,如何实现这一点?
浏览 2
提问于2016-08-01
得票数 7
回答已采纳
1
回答
如何在新增
分区
的
kafka
主题中均衡消息
apache-kafka
、
kafka-consumer-api
、
kafka-producer-api
我有
一个
kafka
集群,其中包含
的
特定
主题
分区
太少,因此收集了大量积压
的
消息。在我添加额外
的
分区
后,只有新
的
消息在所有新
的
分区
之间平衡。平衡所有新
分区
中原始
分区
中
的
“旧”消息积压
的
首选
方法
是什么
? 我想重新
读取
和写入所有消息,并相应地更新
偏移量
,但如果新<e
浏览 10
提问于2019-01-27
得票数 1
2
回答
在一定范围
的
偏移量
之间
读取
来自
Kafka
主题
的
消息
java
、
apache-kafka
、
kafka-consumer-api
我正在寻找一种
方法
来消费我
的
Kafka
主题中具有
特定
偏移量
范围
的
一些消息集(假设我
的
分区
偏移量
为200 - 300,我希望消费
偏移量
为250-270
的
消息)。我使用下面的代码,我可以在其中指定初始
偏移量
,但它将消耗
从
250到结束
的
所有消息。在此之前,是否有任何
方法
/属性可用于设置结束
偏移量
以使用消息。
浏览 3
提问于2020-03-06
得票数 0
1
回答
如何为消费者设置卡夫卡补偿?
apache-kafka
、
apache-flink
假设我
的
主题中已经有10个数据,现在我开始编写Flink,消费者将使用第11个数据。 任何帮助都是非常感谢
的
。
浏览 1
提问于2018-10-31
得票数 2
回答已采纳
1
回答
KTables如何在创业时与卡夫卡互动?
apache-kafka
、
apache-kafka-streams
我有点搞不懂这在概念上是如何运作
的
。
kafka
流如何保证由
kafka
broker分配给它
的
分区
与分配给其他主题
的
分区
匹配?好像需要协调一下吗?而且,卡夫卡流总是从一开始就阅读压缩
的
主题,还是
从
最新
的
偏移量
中
读取
?一旦它从压缩
的
主题中
读取
消息,它是否提交
偏移量
?
浏览 2
提问于2020-07-31
得票数 0
回答已采纳
1
回答
Kafka
日志中缺少
偏移量
-简单消费者无法继续
java
、
apache-kafka
、
apache-storm
我有
一个
3节点
的
kafka
集群设置。我正在使用storm来阅读来自
kafka
的
消息。我
的
系统中
的
每个主题都有7个
分区
。 现在我面临着
一个
奇怪
的
问题。直到3天前,一切都运行得很好。然而,现在我
的
storm拓扑似乎无法
读取
两个
分区
-- #1和#4。我试图深入到这个问题,并发现在我
的
kafka
日志中,这两个
分区
都缺少
浏览 0
提问于2013-09-30
得票数 5
1
回答
当前偏移行为是否由
kafka
-consumer-groups设置为最早?
apache-kafka
我有
一个
有25个
分区
的
kafka
主题,集群已经运行了5个月。 根据我对
给定
主题
的
每个
分区
的
理解,
偏移量
从
0,1,2开始...(未绑定) 我看到对数末端
偏移量
处于非常高
的
值(现在是-> 1230628032) 我创建了
一个
新
的
消费者组,并将
偏移量
设置为最早;因此,我预计该消费者组
的
客户端将从
偏移量<
浏览 110
提问于2019-05-26
得票数 4
回答已采纳
4
回答
Apache
Kafka
:如何接收来自
Kafka
的
最新消息?
scala
、
apache-spark
、
apache-kafka
、
spark-streaming
、
kafka-consumer-api
我在Scala中使用Spark在
Kafka
消费者应用程序中消费和处理消息。有时候,处理
Kafka
消息队列中
的
消息会比平时多花一点时间。此时,我需要消费最新
的
消息,忽略生产者已经发布但尚未消费
的
早期消息。下面是我
的
消费者代码: val streamC
浏览 3
提问于2017-08-31
得票数 1
1
回答
在卡夫卡/以运动为中心
的
结构上构建实时API
architecture
、
scala
、
aws
、
apache-kafka
我是
一个
事件驱动
的
数据体系结构
的
初学者,使用
Kafka
/ WebSocket作为核心(目前是Kinesis),并且我有一些关于如何在这种结构上构建
一个
API
的
问题。我
的
具体用例是,我有大约4种不同
的
数据流进入Kinesis,经过一些处理后,我将它们组合成
一个
“聚合流”,然后将该流
的
结果存储到
一个
分布式DB中,以用于历史目的。对于其他消费者来说,它也是作为另
一个
Kines
浏览 0
提问于2018-03-19
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
“事件驱动架构”Apache Kafka中的事务
“消息中间件”Apache Kafka中的事务
“Kafka技术”Apache Kafka中的事务
Kafka权威指南(一):初识Kafka
消息中间件—Kafka数据存储(一)
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券