腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
4
回答
无法
将
Kafka
保留
策略
设置
为
compact
和
delete
根据下面的链接,我应该能够
将
retention.policy值
设置
为
"
compact
,
delete
"。https://issues.apache.org/jira/browse/
KAFKA
-4015 https://cwiki.apache.org/confluence/display/
KAFKA
/KIP-71%3A+Enable+log+c
浏览 105
提问于2019-03-15
得票数 2
回答已采纳
3
回答
设置
配置retention.ms=3600000仍未删除卡夫卡的数据
、
我已经通过以下命令
设置
了retention.ms=3600000,但1小时后磁盘上仍然有大量数据。由于卡夫卡的大量数据,我的磁盘已经满了。 ./bin/
kafka
-topics.sh --zookeeper zookeeper:2181 --alter --topic topic_1 --config retention.ms=3600000/bin/
kafka
-topics.sh --zookeeper zookeeper:2181 --describe --topics-with-override
浏览 0
提问于2018-11-15
得票数 1
回答已采纳
2
回答
在apache中,如何在不删除主题的情况下删除_schemas主题的内容?
、
在apache中,有没有任何选项可以删除_schemas主题的内容而不删除主题,并且不将
保留
期更改为1秒?
浏览 2
提问于2020-01-29
得票数 1
回答已采纳
2
回答
我怎样才能为卡夫卡中一个紧凑的话题
设置
无限的
保留
?
我是否要推翻这个特定的压缩主题的
保留
期?或者在默认情况下,压缩的主题是否应该无限期地
保留
键的一个值?我的配置log.cleaner.dedupe.buffer.size = 134217728log.cleaner.min.compaction.lag.ms = 0log.cleanup
浏览 0
提问于2018-11-08
得票数 13
回答已采纳
4
回答
如何创建卡夫卡紧凑的主题
、
我正在使用ProducerRecord
和
ConsumerRecords。import org.apache.
kafka
.clients.producer.KafkaProducer; import org.apache.
kafka
.clients.producer.Producer--bootstrap-server localhost:9092 --topic forecastTopic --from-beginning
和
运行我的制作人几次,
浏览 1
提问于2018-11-20
得票数 7
回答已采纳
1
回答
扩展
Kafka
的
保留
策略
主题有两种开箱即用的
保留
策略
(邮件删除
策略
):
delete
和
compact
。 前者根据日志文件大小或日期删除消息,后者使用消息键定期删除重复消息。我想知道是否有一种机制来扩展
Kafka
的Log Compaction功能?例如,按过期日期或其他自定义条件清除邮件?
浏览 0
提问于2017-10-26
得票数 1
2
回答
密实的原木在卡夫卡保存多久?
、
我对此特别感兴趣,因为我想在用于同步不同数据存储以实现最终一致性的主题上使用此
策略
。 我看到有一个
delete
.retention.ms选项可供我使用。但这只适用于“删除”墓碑/有效载荷。
浏览 3
提问于2016-10-14
得票数 3
回答已采纳
1
回答
Kafka
stream -
为
changelog定义
保留
策略
、
我使用
Kafka
Streams进行TimeWindow的一些聚合。我只对每个窗口的最终结果感兴趣,所以我使用了.suppress()特性,该特性
为
其状态创建了一个changelog主题。此changelog主题的
保留
策略
配置被定义
为
"
compact
“,据我所知,它将至少
保留
过去每个键的最后一个事件。 我的应用程序中的问题是密钥经常改变。这意味着主题
将
无限增长(每个窗口都将带来永远不会删除的新关键字)。 因为聚合是按窗口进行的,所以在聚合完成
浏览 33
提问于2019-02-12
得票数 0
回答已采纳
1
回答
卡夫卡-连接分布式工作人员是否可以使用主题“连接-偏移”与配置'cleanup.policy=
compact
,删除‘
、
、
我启动了一个
kafka
-connect分布式工作人员集群,该集群使用主题connect-offset作为偏移存储:由于代理提供了默认的
策略
‘leanup.policy=
delete
’,所以当创建一个主题时,我最终会得到这个主题的'cleanup.policy=
compact
,
delete
‘。这会导致
kafka
连接辅助进程抛出异常: org.apache.
kafka
.common.co
浏览 3
提问于2021-01-04
得票数 5
回答已采纳
2
回答
卡夫卡不会删除主题中的旧信息
在卡夫卡,我在server.properties
将
留用政策定为3天。主题
将
retention.ms
设置
为
172800000 (48h)。有什么需要
设置
的吗?所有的主题都是从当前产生
和
消费的。
浏览 0
提问于2018-02-12
得票数 14
回答已采纳
1
回答
如何从
kafka
中删除旧消息而不是最近的消息
、
、
我正在试着从
kafka
中删除旧的消息,它没有像预期的那样工作。我已经配置了
kafka
rentension.ms,log.cleanup属性也。但是它在5分钟后没有删除旧的消息。这是配置,在5分钟内,新消息也会发布,尽管
kafka
主题中存在较旧的记录。您能帮我解决这个配置中缺失的问题吗?因为它增加了存储成本。-config retention.bytes=-1 --配置cleanup.policy=
delete
--配置retention.ms=300000
浏览 6
提问于2020-09-02
得票数 1
1
回答
Kafka
-streams:
将
内部主题清除
策略
设置
为
delete
无效
、
我使用
kafka
流约函数,它创建了一些状态存储、更改日志、
kafka
内部主题(比如app-KSTREAM-REDUCE-STATE-STORE-0000000002-changelog )。我希望
设置
保留
字节,并将清理
策略
更改为
delete
,以防止存储空间被填满。因此,我在
kafka
代码中
设置
了以下内容:props.put(StreamsConfig.TOPIC_PREFIX
浏览 0
提问于2018-09-02
得票数 6
回答已采纳
1
回答
Apache日志
保留
配置问题,还是如何配置
Kafka
保留
策略
?
log.retention.check.interval.ms=30000如果你想看PFB日志文件。(
kafka
.log.Log) ERROR Error while deleting se
浏览 0
提问于2018-06-19
得票数 1
1
回答
为什么在用相同的groupId重新创建使用者组后,偏移未重置
为
0?
、
这是一个偏移量
为
100的消费者组,而groupId是' group -0‘。它还取得了成功: Deletion
浏览 2
提问于2021-01-27
得票数 1
回答已采纳
1
回答
卡夫卡主题在信息上没有重复
、
如何用卡夫卡主题中的信息来达到这样的结果?此外,在已分区的案例主题中发生了什么?
浏览 0
提问于2018-01-24
得票数 0
回答已采纳
1
回答
如何清除或删除
kafka
2.1.0版本中的主题
希望在2.1.0版本中分享不同的清除或删除
kafka
主题的方法。我在这里发现了类似的问题,,但是,这个被接受的答案已经被废弃了,它在卡夫卡版本0.8
和
更低的版本上工作,从而创建了这个问题的答案。
浏览 1
提问于2019-01-27
得票数 1
回答已采纳
2
回答
卡夫卡留用政策
假设我有一个多代理(运行在同一主机上)
Kafka
设置
,包含3个代理
和
50个主题,每个主题被配置
为
有7个分区
和
3个复制因子。我有50 to的内存用于
kafka
,并确保
Kafka
日志永远不会超过这个内存量,所以我想配置我的
保留
策略
,以防止这种情况发生。我
设置
了一个删除清理
策略
:log.cleanup.policy=
delete
并且需
浏览 1
提问于2018-08-13
得票数 4
回答已采纳
2
回答
如何在server.properties中安全删除旧卡夫卡日志
我使用了
Kafka
版本2.3,我想删除旧的
kafka
日志log.dirs=/var/www/html/zookeeper_1/zookeeper_data_1
kafka
_2.10-0.8.2.2
浏览 5
提问于2020-07-20
得票数 0
1
回答
当试图运行
Kafka
源连接器时,CORRUPT_MESSAGE
、
、
我试图使用以下配置运行
Kafka
源连接器: "name": "source-mariadb-VIEW_GIORGOS", "connection.url":"jdbc:mariadb://localhost:3306/
kafka
&qu
浏览 1
提问于2018-06-30
得票数 0
回答已采纳
1
回答
卡夫卡-紧凑和基于时间的
保留
我尝试创建一个使用压缩
和
删除的
Kafka
主题配置,以实现以下目标:cleanup.policy=[
compact
,
delete
]min.compaction.lag.mssegment.ms=3600000 (1 hour)log.retention.hours=7 days
浏览 2
提问于2020-05-26
得票数 3
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
关于Kafka日志留存策略的讨论
kafka日志存储以及清理机制
Kafka 运维纪实-一次磁盘故障后消费者无法消费
Kafka 提供哪些日志清理策略?
Kafka怎么不丢数据?
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
活动推荐
运营活动
广告
关闭
领券