更改保留策略主题kafka

文章/答案/技术大牛

发布

1回答

Kafka stream -为changelog定义保留策略

apache-kafka、apache-kafka-streams

我使用Kafka Streams进行TimeWindow的一些聚合。我只对每个窗口的最终结果感兴趣，所以我使用了.suppress()特性，该特性为其状态创建了一个changelog主题。此changelog主题的保留策略配置被定义为"compact“，据我所知，它将至少保留过去每个键的最后一个事件。我的应用程序中的问题是密钥经常改变。有没有办法告诉Kafka Streams从以前的窗口中删除密钥？在这个问题上，我认为将changelog主题</em

浏览 33提问于2019-02-12得票数 0

回答已采纳

1回答

Kafka-streams:将内部主题清除策略设置为delete无效

apache-kafka、apache-kafka-streams

我使用kafka流约函数，它创建了一些状态存储、更改日志、kafka内部主题(比如app-KSTREAM-REDUCE-STATE-STORE-0000000002-changelog )。我希望设置保留字节，并将清理策略更改为delete，以防止存储空间被填满。TopicConfig.CLEANUP_POLICY_DELETE);但是，当

浏览 0提问于2018-09-02得票数 6

回答已采纳

1回答

python、apache-kafka

我想将一个主题的默认保留时间更改为'rentention.ms=100'，但我在python中找不到解决方案。有人能帮帮我吗，谢谢？

浏览 7提问于2020-09-17得票数 1

回答已采纳

1回答

如何配置kafka删除消息的设置？

apache-kafka、clj-kafka

我正在使用Kafka (与雅虎Kafka管理器)server.properties有没有滚动kafka(即:我要重置或删除所有影响消息保留的参数) 谢谢。

浏览 0提问于2016-02-04得票数 1

3回答

设置配置retention.ms=3600000仍未删除卡夫卡的数据

apache-kafka、retention

/bin/kafka-topics.sh --zookeeper zookeeper:2181 --alter --topic topic_1 --config retention.ms=3600000/bin/kafka-topics.sh --zookeeper zookeeper:2181 --describe --topics-with-overrides Topic:__consumer_offsets

浏览 0提问于2018-11-15得票数 1

回答已采纳

2回答

不要坚持话题卡夫卡

java、apache-kafka、messaging

我有一个卡夫卡的用例，我不需要运行在服务器上的某些主题的日志，有些主题发送一个的消息，而另一些则不是很多。我有什么选择？理想情况下，我希望按主题丢弃日志和存储的消息。

浏览 1提问于2018-10-04得票数 0

回答已采纳

3回答

流处理后从kafka主题中删除消息

apache-kafka、apache-kafka-streams

在我们的事务处理系统中实现了kafka流处理。该解决方案实现如下： Kafka producer将事件发布到kafka topic，流处理器处理输入事件并进行聚合操作。流处理完成后，该事件将发布到另一个主题。由于第一个topic中没有实现消费者，如何从第一个topic中移除已处理的消息。

浏览 0提问于2017-08-14得票数 1

1回答

Kafka-Ksql对流进行密钥更新会导致数据在几分钟后消失

apache-kafka、ksqldb

键值更新在以下场景中工作得很好1.基础主题到流，然后是rekey - Good 2.表到流，然后是rekey - GoodCREATE STREAM FROMJOIN_S WITH(KAFKA_TOPIC关联主题上的打印主题命令也不打印任何内容。 Ksql版本: 5.3.1，也尝

浏览 2提问于2020-04-03得票数 2

1回答

卡夫卡回放系统工具

apache-kafka

在我的情况下，我们需要将数据从一个主题转移到另一个主题。我在卡夫卡文档"ReplayLogProducer“中看到了一个实用工具。它应该运行如下所示。bin/kafka-run-class.sh kafka.tools.ReplayLogProducer 此工具是否要求源主题上的分区与目标分区相同？关于这个新主题，数据的保留是如何工作的？

浏览 2提问于2016-02-18得票数 2

回答已采纳

1回答

如何清除或删除kafka* 2.1.0版本中的主题*

apache-kafka

希望在2.1.0版本中分享不同的清除或删除kafka主题的方法。我在这里发现了类似的问题，，但是，这个被接受的答案已经被废弃了，它在卡夫卡版本0.8和更低的版本上工作，从而创建了这个问题的答案。

浏览 1提问于2019-01-27得票数 1

回答已采纳

3回答

如何在Spring创建过程中配置kafka主题保留策略？

java、spring、spring-boot、spring-mvc、apache-kafka

我需要在创建过程中配置特定主题的保留策略。我试图寻找解决方案，我只能找到命令级别alter命令，如下所示有人能让我知道一种在创建过程中配置它的方法吗，比如在

浏览 0提问于2019-06-11得票数 12

回答已采纳

1回答

卡夫卡-连接分布式工作人员是否可以使用主题“连接-偏移”与配置'cleanup.policy=compact，删除‘

apache-kafka、apache-kafka-connect、ibm-eventstreams

我启动了一个kafka-connect分布式工作人员集群，该集群使用主题connect-offset作为偏移存储：由于代理提供了默认的策略‘leanup.policy= delete’，所以当创建一个主题时，我最终会得到这个主题的'cleanup.policy=compact，delete‘。这会导致kafka连接辅助进程抛出异常： org.apache.kafka.common.co

浏览 3提问于2021-01-04得票数 5

回答已采纳

1回答

永久Kafka流/KSQL保留策略

apache-kafka、apache-kafka-streams、stream-processing、ksqldb

但是，我遇到了一个关于状态存储和更改主题保留策略的问题。用户会话可能在时间上无限期地发生，因此，我必须保证状态将在此期间持久存在，并在节点和集群范围内发生故障时恢复。(...)因此，RocksDB内存需求不会无限增长(与变更主题相反)。(KAFKA-4015是在0.10.1版本中修正的，加窗口的变更主题在应用额外的保留时间参数时不会无限增长)。如果创建了新应用程序，则会使用与本地存储保留时间相同的保留时间创建chan

浏览 5提问于2020-03-04得票数 1

回答已采纳

1回答

删除主题后的代理磁盘使用情况

java、apache-kafka

我将巨大的dbs转储到Kafka中，其中每个数据库的表都是一个主题。从代理中删除消耗的主题的正确方法是什么？目前，我给kafka.admin.AdminUtils#deleteTopic打电话。但我找不到清晰的相关文件。方

浏览 1提问于2018-08-14得票数 1

回答已采纳

1回答

卡夫卡流GlobalKTable同步应用程序

java、apache-kafka、apache-kafka-streams

使用正常的k流，kafka将每个应用程序的偏移量存储在其内部偏移主题上。在重新启动应用程序时，应用程序将根据auto.offset.reset策略重新处理主题。这确实是的解释。我正在使用kafka流的GlobalKTable在应用程序上复制数据。但是，我对应用程序的重新启动有点困惑，因为在重新启动后(由于部署或崩溃) id (**StreamsConfig.APPLICATION_ID_CONFIG**)不更改的应用程序中没有填充。此外，对于支持GlobalKTables的主题<

浏览 0提问于2018-03-24得票数 1

回答已采纳

2回答

删除主题级别配置

apache-kafka

为了删除主题中的所有数据，我将其retention.ms配置设置为1000。这个效果很好在更改配置之前，没有在主题上设置retention.ms，因此服务器默认属性log.retention.hours=168是以前的保留策略。现在，我想从本主题</e

浏览 0提问于2019-05-20得票数 4

回答已采纳

2回答

不同的卡夫卡主题能有不同的保留长度吗？

apache-kafka

我希望有一个主主题(与日志保留7天)和几个较小的主题与过滤语料库较小的日志保留(2天)。这个是可能的吗？注意:我使用的是 v0.10.1.1。

浏览 2提问于2017-02-21得票数 8

回答已采纳

2回答

如何使用librdkafka更改运行中的kafka主题的保留时间

c++、apache-kafka

我们可以在kafka机器中使用以下命令来更新运行中的kafka主题的保留时间： bin/kafka-topics.sh --zookeeper <kafka_ip> --alter --topic <target_topic> --config retention.ms=86400000 但我不想登录到kafka机器并运行该命令。我只想使用C或C++来更改远程生产者机器中运行的kafka主题<

浏览 66提问于2020-12-10得票数 1

1回答

来源和目标集群中相同主题名称的Kafka镜像制造者

apache-kafka、confluent-platform、apache-kafka-mirrormaker

我想在源集群和目标集群之间设置kafka MM2。我的用例是，我可以成功地从源集群主题"test“镜像到目标集群主题"test”(没有集群名称前缀)。现在，我希望镜像从源集群主题"test“到目标集群主题"xyx”(没有集群名称的前缀)。有什么线索会很感激吗？我想用不同的主题名称在源集群和目标集群之间设置kafka MM2。

浏览 24提问于2022-11-29得票数 -1

1回答

卡夫卡中的CreateTopicPolicy不对主题创建调用validate()

apache-kafka

我试图为Kafka主题创建一个自定义的主题策略。我发现在代理启动时调用了构造函数和configure()方法。但是，只要通过kafka-topics.sh工具创建了新主题，就不会调用validate()方法。import org.apache.kafka.common.errors.*;import java.util.*;came to policy construc

浏览 0提问于2019-07-03得票数 0

回答已采纳

点击加载更多

Kafka stream -为changelog定义保留策略

Kafka-streams:将内部主题清除策略设置为delete无效