腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(262)
视频
沙龙
2
回答
如
何在
Kafka
主
题中
仅
消费
最新
偏移量
、
、
我正在开发一个使用
kafka
的scala应用程序。我的
kafka
消费
者代码如下所示。") props.put(data <- record) return va
浏览 53
提问于2020-07-27
得票数 1
1
回答
删除消息并将主题
偏移量
重置为0,与
消费
群体无关
、
、
、
我需要创建一个
Kafka
设置,在每天开始时,必须删除主
题中
的所有消息,并将其
偏移量
重置为0。 我曾尝试通过将log.retention设置为1天来实现此目的,但似乎不起作用。我还运行了
kafka
-delete-records。它确实删除了所有的消息,但
kafka
.tools.GetOffsetShell仍然给了我
最新
的
偏移量
。我想让它变成0。另外,我不会显式地设置
消费
者组。它们是内部的,像_confluent-ksql-default_transien
浏览 17
提问于2019-06-25
得票数 0
1
回答
对
Kafka
1.x中的提交和获取
消费
者
偏移量
感到困惑
我使用了下面的
Kafka
消费
者示例代码:ConsumerRecords<String, byte[]> records = kconsumer.poll(timeoutInMS);我有两个问题: (1)
偏移量
提交的地方是
Kafka
还是Zookeer(我知道旧的
kafka
版本是提交给zookeeper的,但是新的
kafka
版
浏览 4
提问于2018-01-12
得票数 0
2
回答
如何获取
Kafka
消费
者的
偏移量
?
、
、
、
使用
Kafka
(v2.11-0.10.1.0)-spark-streaming(v-2.0.1-bin-hadoop2.7). 我有
Kafka
生产者和Spark-streaming
消费
者来生产和
消费
。一切正常,直到我停止
消费
者(大约2分钟)并重新开始。
消费
者启动并读取数据,绝对完美。但是,我迷失了2分钟的数据,其中
消费
者是关闭的。
Kafka
consumer/server.properties保持不变。, "", docu
浏览 16
提问于2017-01-18
得票数 0
2
回答
Apache nifi和
kafka
微服务
、
、
、
我是Apache Nifi的新手,但我在尝试连接
kafka
微服务(与生产者)和Apache nifi
消费
者时遇到了一些问题。: image: wurstmeister/
kafka
#:2.13-2.6.0 - 9092:9092
KAFKA
_ADVERTISED_HOST_NAME:
kafka
KAFKA
_AUTO_CRE
浏览 37
提问于2021-07-14
得票数 0
1
回答
如何使用KafkaAdminClient (Java)为2.x版本获取卡夫卡主题的
最新
偏移量
/大小
、
是否有更有效/更简单的方法来使用
最新
的Java客户端2.4API获取主题/分区的大小/
最新
偏移量
?然后,通过将
消费
者组的
偏移量
与主题的大小进行比较,计算
消费
者群体的滞后.我知道以前的
Kafka
版本也问过这个问题,也有一种方法可以从
Kafka
公开的JMX度量中获取这些信息,但是我仍然被一个遗留应用程序困住了,它需要用Java来完成,但我需要使用
最新
的2.4
Kafka
语言据我所知,获取这些
浏览 2
提问于2020-02-05
得票数 3
回答已采纳
1
回答
spring-cloud-stream-
kafka
应用启动后只
消费
最新
消息
、
、
在我们的项目中,我们使用spring-cloud-stream-binder-
kafka
版本1.1.2与
kafka
集成。最近,我们遇到了这样一种情况:我们的一个服务在启动后使用了某个主
题中
的旧消息(已经使用过)。该主题有2个分区和2个
消费
者分组在一个
消费
者组下。我们不确定
偏移量
是否正确提交给zookeeper。[-
kafka
-listener-2] ERROR o.s.k.listener.LoggingErrorHandler.handle - Error while
浏览 14
提问于2017-06-28
得票数 0
1
回答
Kafka
Json值反序列化程序
、
、
、
我使用的是具有以下属性的
kafka
消费
者: key.deserializer=org.apache.
kafka
.common.serialization.StringDeserializer value.deserializer=org.apache.
kafka
.connect.json.JsonDeserializer KafkaProducer(value.serializer=org.apache.
kafka
.connect.json.JsonSerializer)正在将JSON记录推送到一个主<e
浏览 58
提问于2021-08-20
得票数 0
回答已采纳
1
回答
有没有办法使用camel获取
Kafka
主
题中
产生的最后一条消息?
、
、
我有一个带有一个分区的
kafka
主题。当我的服务器重新启动时,我希望使用主
题中
最后生成的消息。
浏览 2
提问于2021-07-02
得票数 0
2
回答
Zookeeper如何从__consumer_offsets主
题中
检索
消费
者
偏移量
?
、
、
、
这是一个基于Armando Ballaci提供的答案的"Where do zookeeper store
Kafka
cluster and related information?“的后续问题。现在很明显,
消费
者
偏移量
存储在
Kafka
集群中的一个名为__consumer_offsets的特殊主
题中
。很好,我只是想知道这些
偏移量
的检索是如何工作的。例如,如果数据存储在RDBMS中,下面这样的查询可能会获得某个
消费
者组的特定
消费
者的特定主题分区
浏览 40
提问于2020-07-05
得票数 1
1
回答
无法从zookeeper检索主题/组/分区的
kafka
偏移量
、
我们在不同的服务器上运行zookeeper 3.3和
kafka
0.8。我们正在使用HL
消费
者,他们会像预期的那样访问
kafka
队列中的数据,在重启时,他们会从中断的地方重新开始。因此,
消费
者的行为符合预期。问题是当我们使用zkCli.sh时,我们在zookeeper中看不到
偏移量
。现在,使用者被设置为
仅
针对一个主题在一个分区中运行。因为当
消费
者停止并再次重启时,
消费
者的行为
如
预期的那样(即,它从上次运行时停止的
偏移量</em
浏览 2
提问于2015-02-04
得票数 1
1
回答
使用Akka Stream和
Kafka
offset提交将事件从
Kafka
流式传输到Couchbase
、
、
、
、
我正在尝试设计一个Akka Stream,使用Alpakka来读取
kafka
主
题中
的事件,并将它们放到Couchbase中。,并将它们作为json文档放到Couchbase中,尽管我不知道如何将
消费
者
偏移量
提交给
Kafka
,但它看起来甚至很好。如果我已经清楚地理解了隐藏在
Kafka
消费
者
偏移量
后面的主要思想,在任何故障或重启发生的情况下,流从最后提交的
偏移量
读取所有消息,并且由于我们没有提交任何
偏移量
,它可能会再次重
浏览 21
提问于2019-10-18
得票数 0
1
回答
当您重新启动火花作业时,如果它在输入给
kafka
的数据中遇到了意外的格式,会发生什么?
、
、
如何解决卡夫卡主
题中
的数据问题,以恢复中止的火花作业?
浏览 0
提问于2020-05-12
得票数 3
回答已采纳
3
回答
不清楚卡夫卡中auto.offset.reset和enable.auto.commit的含义
、
我刚接触
Kafka
,我并不真正理解
Kafka
配置的含义,有没有人能给我解释一下更容易理解!
浏览 0
提问于2017-07-05
得票数 21
1
回答
从mysql中提取每日数据更改并将其部署到timeseries DB
、
、
、
、
但我只需要在那个时间/一天内所做的
最新
更改,并需要将这些数据输入到timeseries DB (计划使用druid) 在读取binlog时,有没有什么机制可以避免重复并保留
最新
的更改?
浏览 4
提问于2021-10-28
得票数 0
1
回答
如何从FlinkKafkaConsumer获取
最新
的消息
偏移量
?
、
我正在使用FlinkKafkaConsumer来
消费
来自
kafka
的数据?但我无法从收到的数据中获得
最新
的
偏移量
。如
何在
flink?.Could中做到这一点?有没有人指导我?
浏览 4
提问于2017-07-11
得票数 0
1
回答
再处理/再读卡夫卡记录/信息-
消费
者集团抵消重置的目的是什么?
、
我的
kafka
主题共有10条记录/消息和2个分区,每个分区有5条消息。我的使用者组有2个
消费
者,每个使用者已经分别从他们分配的分区中读取了5条消息。现在,我希望从开始/开始重新处理/读取来自我的主题的消息(
偏移量
0)。.我的期望是,一旦我重新开始我的卡夫卡
消费
者,他们将开始阅读记录从
偏移量
0,即开始,但这没有发生,他们调查了他们的最后位置,即
偏移量
5。为什么
浏览 3
提问于2019-06-27
得票数 4
2
回答
Kaka auto.offset.reset查询
、
我的项目使用
Kafka
0.10.2版本。在
消费
者中设置enable.auto.commit=false和auto.offset.reset=latest。如果在维护后重新启动使用者,则使用者将再次从第一个
偏移量
读取,而不是等待
最新
的偏移消息。为什么会发生这种事?我是否错误地理解了结构?
浏览 2
提问于2020-04-14
得票数 1
回答已采纳
1
回答
如何使用Pykafka获取主题的
最新
消息?
、
、
、
我一直在使用pykafka生成一个主题的消息我想知道
最新
的消息。partitions.iteritems()]consumer.consume() 但是,我并不真正理解这里发生了什么,只有在至少有两条消息已经存在的情况下,它才能获得
最新
的消息
浏览 5
提问于2017-06-27
得票数 1
1
回答
如何通过
消费
kafka
主题消息而不是Rest API来创建命令
我使用的是Axon版本(3.3),它在SpringBoot
主
类中使用在我们的用例中,命令端微服务需要从
kafka
主
题中
挑选消息,而不是将其公开为Rest api。它会将事件存储在事件存储中,然后将其移动到另一个
kafka
主题,供查询端微服务
消费
。 由于KafkaAutoCOnfiguration被禁用,我不能使用spring-
kafka
配置来编写
消费</
浏览 18
提问于2019-07-12
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Kafka的简单介绍
消息中间件—Kafka数据存储(一)
“事件驱动架构”Apache Kafka中的事务
“消息中间件”Apache Kafka中的事务
“Kafka技术”Apache Kafka中的事务
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券