腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(6863)
视频
沙龙
1
回答
从
“
未
配置
分区
重置
策略
的
偏移量
超出范围
”
中
恢复
、
我有Spark Structured应用程序(Spark 2.4.5),它是
从
Kafka消费
的
。应用程序停机了一段时间,但当我重新启动它时,我得到了下面的错误。根据日志,我看到“
从
最早
的
偏移量
中
恢复
: 1234332978”,但这似乎确实正在发生。我尝试删除检查点位置
中
的
“source”文件夹,但也没有帮助。我
的
代码使用了一个mapGroupWithState函数,所以我确实有不想丢失
的
状态数据,因
浏览 88
提问于2020-07-29
得票数 0
5
回答
来自Kafka
的
Spark流有错误numRecords不能为负
、
、
、
这是一种奇怪
的
错误,因为我仍然将数据推送到kafka,并使用来自kafka
的
消息,而Exception in thread "main" java.lang.IllegalArgumentException我搜索了,但没有得到任何与相关
的
资源。 offline-partitions-count: 0
浏览 0
提问于2016-01-25
得票数 11
1
回答
卡夫卡流与消费者群体怪异行为
、
、
我得到了一些奇怪
的
输出,虽然它们似乎与特定
的
组/主题/
分区
相连接,但实际上并没有告诉我特定
的
使用者在哪里: 另外
浏览 1
提问于2017-10-02
得票数 0
回答已采纳
1
回答
卡夫卡
偏移量
超出范围
、
、
我正在用scala编写一个与kafka进行火花流连接
的
程序,我得到了以下错误: ... 3 more enable.auto.commit是真实
的
,auto.offset.reset是“最新
的
”。一段时间前,它运行良好,我试图将自动提交转换为
浏览 0
提问于2018-02-19
得票数 2
1
回答
卡夫卡经纪人能在没有消费者联系
的
情况下保留信息吗?
、
、
我正在尝试构建一个pub/sub应用程序,我正在探索最好
的
工具。我现在看到的卡夫卡,并有一个小
的
演示应用程序已经运行。然而,我遇到了一个概念性
的
问题。命令行工具启动使用者时:然后我执行生产者代码,我看到数据消息显示在我
的
消费者终端上当我启动使用者时(在执行生产者之后),消费者终端
中
什么都不会出现。 有人知道卡夫卡经纪人是否有可能在没有消费者联系<em
浏览 3
提问于2017-03-10
得票数 3
回答已采纳
2
回答
Flink + Kafka:为什么我会丢失消息?
、
、
我已经写了一个非常简单
的
Flink流作业,
从
卡夫卡使用FlinkKafkaConsumer082
的
数据。,它就会被我
的
Flink工作接收并处理。现在我试着看看如果我
的
Flink Job由于某种原因没有在线会发生什么。因此,我关闭了flink作业,并继续向Kafka发送消息。然后我再次开始我
的
Flink工作,并期望它能处理同时发送
的
消息。
从
我收集
的
FlinkKafkaConsumer082文档
中
可以看出,它自动负责与K
浏览 0
提问于2015-11-03
得票数 2
2
回答
在Kafka中使用实时消息
、
、
、
我已经启动了我
的
zookeeper和Kafka服务器。我启动了我
的
Kafka制作器,它发送了10条主题为'xxx‘
的
消息。然后叫住了我的卡夫卡制作人。现在我启动了我
的
Kafka用户,并订阅了主题'xxx‘。我
的
消费者使用我
的
Kafka生成器发送
的
10条消息,该生成器现在没有运行。我需要我
的
Kafka消费者应该只消费运行Kafka服务器
的
消息。以下是我
的
消费者属性
中
的</e
浏览 1
提问于2016-09-30
得票数 3
1
回答
使用comitAsync将结果发送到另一个主题
的
spark streaming
、
、
我正在使用提供
的
策略
来实现对卡夫卡本身
的
承诺。现在,我不想将这个特定
的
偏移量
提交给主题A。主题A和主题B具有相同数量
的
分区
N。因此,每个RDD都应该使用来自相同
分区
的
数据。保持处理
的
最佳
策略
是什么?如何
重置
流以尝试处理主题A
中
的
那些事件,直到它成功?我知道如果不提交就不能继续处理该
分区
,因为这将自动移动
偏移量
,
浏览 2
提问于2018-02-09
得票数 0
1
回答
卡夫卡
从
主题中读取
的
单个使用者
从
给定
的
偏移量
中有多个
分区
、
我有一个有两个
分区
的
kafka主题,我想创建一个使用者
从
给定
的
偏移量
读取主题,下面是我用来
从
给定
偏移量
(9)读取
的
示例代码。groupId> <version>2.1.0</version>另外,为本主题
配置
的
浏览 0
提问于2019-06-20
得票数 1
回答已采纳
1
回答
卡夫卡
中
未处理记录
的
恢复
/再平衡处理
、
我正在使用Spring与我
的
Kafka实例进行接口。假设我有一个单独
的
主题,比如说,2+
分区
。例如,在基于Spring Kafka
的
应用程序崩溃(甚至是重新平衡),然后
恢复
联机,在主题中有消息等待
的
情况下,我目前正在使用一种
策略
,将每个
分区
的
最新提交
的
偏移量
存储在外部存储区
中
,然后查找用户分配给
分区
的
内容,然后查找该
偏移量
以<e
浏览 1
提问于2020-01-15
得票数 1
回答已采纳
1
回答
Kafka consumerGroup丢失了所有
分区
的
已提交
偏移量
信息,并从一开始就开始使用
偏移量
。
、
、
我一直在使用kafka主题
的
事件,在我
的
应用程序
中
处理同样
的
事件已经有一段时间了。该主题有20个
分区
,我将kafka并发设置为10,因为我使用来自kafka主题
的
事件和我
的
应用程序
的
2个副本。partition" 在这个日志之后,每个使用者开始
从
每个
分区
读取最
浏览 9
提问于2021-01-30
得票数 2
1
回答
弹簧卡夫卡与加工中间
的
再平衡
、
、
、
在这个链接
中
,题为“使用带有特定
偏移量
的
记录”
的
部分引用了一种
策略
,即在外部存储中有效地更新主题
分区
偏移,然后讨论
分区
撤销(例如,重新平衡),只需将任何中断
的
事务提交到外部存储。现在,我假设这个
策略
意味着在
分区
吊销回调
中
,我不需要处理
偏移量
的
传入TopicPartition集合,因为被中断
的
任何“进行
中
”事务都将被持久化,并将包
浏览 2
提问于2020-01-21
得票数 1
回答已采纳
1
回答
3.x -回放消息
策略
、
、
我正在寻找一些关于使用Spring 3.x / Kafka绑定器实现
的
Kafka主题
的
回放消息
策略
的
指导-一般来说,关于消息回放
的
最佳实践是什么
浏览 1
提问于2020-08-18
得票数 1
1
回答
Kafka Java API偏移操作澄清
、
为了验证我
从
Kafka提交/读取
的
偏移量
是否正确,我使用了kafka.tools.ConsumerOffsetChecker工具。.:logSize = 29 ->这是最新
的
偏移量
-下一个主题/
分区
的
偏移量
浏览 3
提问于2015-05-20
得票数 10
回答已采纳
1
回答
如何读取火花结构化流作业
中
每个微批
中
相同
的
起始
偏移量
?
、
、
、
、
是否有可能在每次批处理执行后
重置
Kafka
偏移量
,以便每个批处理
从
相同
的
起始
偏移量
读取,而不是只读取新发现
的
事件?引用星火卡夫卡集成文档startingOffsets
的
描述 对于流查询,这只适用于启动新查询时,并且
恢复
将始终
从
查询停止
的
位置
恢复
。查询期间新发现
的
分区
最早将启动。现在,我正在为每个批处理循环
从
Kafka内部创建一个静态数据帧,并使
浏览 2
提问于2020-04-23
得票数 2
1
回答
卡夫卡-火花直流河故障
、
、
、
我们有一个简单
的
星火流应用程序,流事件
从
卡夫卡通过火花和持久化到红色。让我困惑
的
是文档中提到
的
auto.offset.reset参数。对于故障转移来说,latest是一个明智
的
默认设置吗?如果重新启动/主故障,流作业真的能正确地赶上吗? 谢谢你,穆基
浏览 2
提问于2015-10-28
得票数 1
回答已采纳
2
回答
卡夫卡连接器
中
的卡夫卡消费者群体是否可以将偏移
重置
为一个主题?
、
、
我
的
kafka接收器连接器读取多个主题(
配置
有10个任务),并处理来自所有主题
的
300多条记录。基于在每个记录中保存
的
信息,连接器可以执行某些操作。下面是触发器记录中键:值对
的
示例:读取此记录后,我将需要将每个
分区
中
的
主题“my 1”
的
偏移量
重置
为0。传递给onPartitionsAssigned方法
浏览 1
提问于2019-05-01
得票数 6
回答已采纳
2
回答
如果Broker
中
没有kafka consumer指定
的
offset,会发生什么情况?
、
、
、
我是卡夫卡
的
新手。我想了解当kafka指定
的
偏移不存在时,kafka消费者
的
行为。可能由于保留
策略
或使用者指定了无效
的
偏移量
值,在给定
偏移量
处
的
消息被删除。
浏览 0
提问于2019-11-20
得票数 6
2
回答
卡夫卡事件结束后,相关消费者
的
滞后性会不会停滞不前?
假设没有发布更多
的
Kafka事件,当kafka broker
中
的
所有以前
的
Kafka事件由于保留而过期,而相关
的
消费者还没有完成所有事件时,相关
的
Kafka消费者滞后会被给定
的
分区
所困吗?
浏览 4
提问于2016-04-07
得票数 0
回答已采纳
2
回答
扩展Kafka消费者池,同时确保所有消息都被处理
、
我想在传统
的
消息队列
配置
中使用Kafka。这就是: 如果我设置了auto.offset.res
浏览 2
提问于2017-06-19
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Kafka 提供哪些日志清理策略?
kafka日志存储以及清理机制
Kafka怎么不丢数据?
消息中间件—Kafka数据存储(一)
Windows 10 2004将通过云端进行安装,这个“云下载”功能真强大
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券