腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
从
kafka
获取
所有
消息
,带
开始
和
结束
时间
apache-kafka
我在环境中有
Kafka
集群,我需要创建一个作业,根据
开始
和
结束
时间
从
Kafka
主题的
所有
分区读取
消息
。所以,就像我想阅读
从
00:00:09:14:09:2020(SEC-MINUTES-HOURS-DAY-MONTH-YEAR)到00:00:10:14:09:2020 (持续1小时)的
所有
Kafka
主题
消息
浏览 67
提问于2020-09-14
得票数 0
1
回答
Kafka
Consumer无法反序列化具有
开始
和
结束
时间
的
时间
窗密钥
kafka-consumer-api
、
apache-kafka-streams
我有一个
Kafka
Streams应用程序(V2.1.1),它产生的记录,并放入键值格式的输出主题。 key是窗口
时间
serde,其中我期望到窗口
开始
/
结束
时间
的key
和
句柄。kafkaOutPutTopic, Produced.with(windowedSerde, jsonSerde)); Sample - KEY@ 1551807076000 /1551807077000其中KEY为key,
开始
时间
-1551807076000
浏览 63
提问于2019-05-09
得票数 1
回答已采纳
1
回答
Kafka
重新运行功能
apache-kafka
我们是否可以在不汇集
所有
消息
的情况下,
从
偏移量或持续
时间
内重新运行
消息
?如果是,请让我知道。我试过使用
Kafka
API,但它首先消耗
所有
消息
,然后根据记录进行过滤。我的需求是发送一个偏移量作为输入以
获取
消息
详细信息,或者发送自
和
结束
日期/
时间
间隔以
获取
记录
浏览 4
提问于2018-01-30
得票数 0
2
回答
如何
从
Kafka
获得确认
apache-kafka
、
real-time-data
如何在
消息
被消费或处理后,准确地
从
Kafka
获取
确认。听起来可能很愚蠢,但是有没有办法知道接收到ack的
消息
的
开始
和
结束
偏移量?
浏览 1
提问于2013-07-31
得票数 6
1
回答
是否自己创建了一个消费者组(因为它不关心应用程序中给出的group.id属性)
apache-spark
、
apache-kafka
、
spark-streaming
、
spark-streaming-kafka
对于第一批,驱动程序中的流上下文连接到
Kafka
并
获取
startOffset
和
endOffset。然后,启动具有这些
开始
和
结束
偏移范围的火花作业,以便执行者
从
Kafka
获取
记录。我的问题从这里
开始
。当第二批的
时间
,流上下文连接到卡夫卡的
开始
和
结束
偏移范围。如果没有允许存储最后一次提交偏移值的使用者组(因为直接流没有考虑到group.id),那么<
浏览 4
提问于2020-02-27
得票数 0
回答已采纳
7
回答
如何在
Kafka
中
从
旧的偏移点
获取
数据?
apache-kafka
、
offset
、
zookeeper
、
apache-zookeeper
我正在使用zookeeper
从
kafka
获取
数据。在这里,我总是
从
最后一个偏移点
获取
数据。有没有办法指定偏移量的
时间
来
获取
旧数据? 有一个选项是autooffset.reset。它接受最小或最大。有人能解释一下什么是最小的
和
最大的吗?autooffset.reset可以帮助
从
旧的偏移点而不是最新的偏移点
获取
数据吗?
浏览 11
提问于2013-02-18
得票数 36
回答已采纳
4
回答
Apache
Kafka
:如何接收来自
Kafka
的最新
消息
?
scala
、
apache-spark
、
apache-kafka
、
spark-streaming
、
kafka-consumer-api
我在Scala中使用Spark在
Kafka
消费者应用程序中消费
和
处理
消息
。有时候,处理
Kafka
消息
队列中的
消息
会比平时多花一点
时间
。此时,我需要消费最新的
消息
,忽略生产者已经发布但尚未消费的早期
消息
。properties = readProperties() val streamConf = new SparkConf().setMaster("local[*]").setAppName("<em
浏览 3
提问于2017-08-31
得票数 1
2
回答
我应该如何将我的事件流坚持到冷库?
hadoop
、
bigdata
、
apache-kafka
、
amazon-kinesis
、
azure-eventhub
我有一个事件流(我们可以将它们称为“
消息
”,甚至仅仅是“数据”),它们来自具有基于
时间
的保留的事件代理。事件代理可以是、或,但我们可以说是卡夫卡。我的目标是
获取
这个事件流,并将其放入冷库;也就是说,通过Hadoop/Spark存储数据以供将来的分析。这意味着我希望将这个“聊天”事件流转换为HDFS中的“块状”文件。我也像一个至少一次的守护者,一个给定的事件是持之以恒的冷藏(加分一次
和
唯一一次)。 外面的组件已经处理过这个场景了吗?
浏览 3
提问于2014-10-31
得票数 3
3
回答
从
Kafka
中检索基于
时间
戳的数据
apache-kafka
如何
从
Kafka
集群
获取
指定日期的
消息
或数据。例如,9月13日,有没有人能给我提供代码。我用谷歌搜索了一下,只找到了理论,但我想要代码
浏览 0
提问于2016-09-15
得票数 27
1
回答
在给定的
时间
范围内,我们应该如何阅读
Kafka
主题?
apache-kafka
我需要在给定的
时间
范围内阅读
Kafka
主题之外的
消息
。我能想到的解决方案是首先找出
时间
范围
开始
的最大偏移量,然后继续消费
消息
,直到
所有
分区上的偏移量超过
时间
范围的
结束
。有没有更好的方法来解决这个问题?
浏览 0
提问于2014-07-16
得票数 9
2
回答
如何计算
从
Kafka
拉取记录的
时间
?
apache-spark
、
apache-kafka
、
spark-structured-streaming
我有一个简单的工作与trigger=15秒,Source=
Kafka
和
Sink=S3。有没有可能知道
从
Kafka
下载
消息
需要多长
时间
?或者说,如果我有Sink=Console,它会带回驱动程序上的数据,是否可以找到
从
Kafka
下载数据的
时间
,以及将数据带回驱动程序的
时间
? 在写入S3时,我
从
驱动程序中
获取
这些用于查询的内容。有没有可能理解它花了多少
时间
从<
浏览 2
提问于2017-08-25
得票数 0
2
回答
如何使用Java
从
Kafka
获取
最近5天的
消息
java
、
apache-kafka
、
kafka-consumer-api
我在
Kafka
中设置了一个主题的
时间
间隔为7天,我正在从
Kafka
获取
数据并将其存储在数据库中,但从过去5天我的数据库服务器宕机了,现在我必须
从
Kafka
获取
最近5天的
消息
并将其存储在数据库中。注:
从
过去5天
开始
,
Kafka
没有问题。
浏览 0
提问于2017-09-05
得票数 1
1
回答
Kafka
的
消息
是否默认包含
时间
戳?
apache-kafka
Kafka
的
消息
是否默认包含
时间
戳?或者如果需要,需要在正文
消息
中手动添加
时间
戳?
浏览 15
提问于2020-05-18
得票数 0
回答已采纳
1
回答
卡夫卡流:提交不会发生
apache-kafka
、
apache-kafka-streams
、
stream-processing
下面是我使用处理器API测试的场景: 键是: 12345678 启动
时间</
浏览 0
提问于2018-07-09
得票数 0
回答已采纳
2
回答
Spring集成使异步网关等待聚合结果。
java
、
spring
、
spring-integration
、
spring-integration-dsl
我想逐行读取文件,过滤,转换
和
发送给
kafka
。文件通过异步网关传递以进行处理。在处理
结束
时,我为两个目的添加了聚合器:到目前为止,我已经创建了聚合器,用于等待文件标记
开始
和
结束</em
浏览 5
提问于2020-03-20
得票数 0
回答已采纳
3
回答
星星之火+
从
基于
时间
戳的特定偏移量中读取
kafka
主题
apache-spark
、
apache-kafka
如何设置spark作业以基于
kafka
topic
从
specific offset中
获取
timestamp?假设我需要从一个卡夫卡主题starting 6 hours ago中
获取
所有
数据。
浏览 0
提问于2018-05-03
得票数 1
回答已采纳
1
回答
运行eachMessage的kafkajs不
获取
消息
。
javascript
、
node.js
、
apache-kafka
、
kafkajs
我试图使用kafkajs
从
Kafka
获取
消息
,我想将
所有
消息
捕获到" messages“(一个数组) config中--在这里保存信任的变量是我使用的函数:async function consume_messages(config) {
浏览 7
提问于2022-09-11
得票数 0
1
回答
卡夫卡消费者延迟
java
、
apache-kafka
我对制片人没有控制权,我想确保
所有
的事情都能在我这一边顺利进行。group.id= unique-group-dauto.offset.reset= latestclient.id= som
浏览 1
提问于2018-09-28
得票数 0
1
回答
是否有
Kafka
API可以删除/检索在日期范围之前未收到任何新
消息
的主题?
apache-kafka
我可以使用
kafka
Admin/Consumer Api删除主题。我的问题是,当topic收到最后一条
消息
时,如何识别?
浏览 14
提问于2021-08-20
得票数 1
1
回答
Spark streaming在处理过程中定期维护
kafka
偏移量
apache-spark
、
streaming
、
apache-kafka
、
offset
在
kafka
的spark streaming直接方法中,有一种方法可以让我知道
kafka
偏移级别范围。但是,如果我想定期维护偏移量,以便在需要时可以重新处理偏移量中的项。当我处理每条
消息
时,有没有办法在rdd中检索
消息
的偏移量?例如,使用偏移量范围,我有RDD的
开始
和
结束
偏移量,但如果在处理RDD系统的每个记录时遇到错误
和
作业
结束
,该怎么办?现在,如果我想从失败的记录
开始
处理,我如何首先保存上一次成功的偏移量,以便下
浏览 1
提问于2016-05-24
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Spark的PIDController源码赏析及backpressure详解
系统设计系列之任务队列
当Flink遇到Kafka-FlinkKafkaConsumer使用详解
中国民生银行大数据团队Kafka1.X管控实践
Spark Streaming 中管理 Kafka Offsets 的几种方式
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券