我想删除日志压缩主题中的所有记录，而不关闭kafka集群，也不删除主题。谷歌了相当多，但找不到一种方法来删除日志压缩主题中的所有记录。 谢谢你艾哈迈德
浏览 18提问于2020-08-21得票数 0
回答已采纳
我正在尝试创建一个spring boot应用程序(Java)，它必须能够通过给出偏移量和分区来删除kafka主题中的消息。我一直在研究可以做到这一点的java或spring boot包类，但我只发现了这样的东西：Delete Messages from a Topic in Apache Kafka有一个java kafka客户端，它有一个方法可以删除偏移前的所有消息，但我只有一个方法可以删除一个。
浏览 36提问于2020-09-08得票数 0
回答已采纳
1回答
每个insert、update或delete操作都在本地记录，然后推送到iCloud，运行该应用程序的其他设备可以下载这些事务日志并在其中执行SQL命令，以使所有运行该应用程序的设备保持同步。这是非常好的工作。
我现在正在考虑优化这个过程，我突然意识到，记录整个SQL命令会导致大量冗余数据被推到云端并从云中提取出来，这最终会导致更长的同步时间和更多的数据使用量。SQL查询是非常可预测的(应用程序中只使用一种格式<em
浏览 1提问于2016-03-20得票数 0
2回答
我们有一个内存不足的错误，导致数以亿计的重复消息被添加到主题中。有没有办法暂停所有服务，修复主题并删除重复的内容？卡夫卡新手来了..。
浏览 3提问于2021-04-18得票数 0
1回答
我已经在整个包中启用了将错误和失败记录到文件中。在这个过程完成之后，我压缩工作文件夹中的所有文件(包括我用来记录日志的文本文件)。但在压缩过程中，我总是遇到文件使用错误。我相信这并不奇怪，因为该文件实际上正在被日志提供程序使用。有没有办法把这个文件和其他文件一起压缩？或者像我在标题中建议的那样，是否有一个日志提供程序可以将这些错误发送到变量，然后将它们写到文件中，
浏览 3提问于2013-06-07得票数 0
回答已采纳
5回答
现在，当我测试它时，我使用以下内容(Key，Message)将下列消息推送到主题中。抵销:1- (123，abc)；
现在，我用与早期输入相同的键推送了第4条消息，但更改了消息在这里，日志压缩应该成为图片。使用Kafka工具，我可以看到主题中的所有四个偏移。如何知道日志压缩是否有效？如果删除了之前<e
浏览 8提问于2015-12-15得票数 15
回答已采纳
我正在根据一个输入主题构建KTable，并加入两个KStream应用程序实例上的KStream。所以不需要为我的KTable存储启用日志记录(更改日志)？我的源输入日志压缩主
浏览 3提问于2017-10-13得票数 5
3回答
我在“掌握卡夫卡流和ksqlDB”一书中遇到了以下两个短语，作者使用了两个术语，它们的真正含义是“压缩主题”和“未压缩主题”。
表可以看作是对数据库的更新。在日志的此视图中，只保留每个键的当前状态(给定键的最新记录或某种聚合)。表通常是由压缩的主题构建的。在数据库术语中，流可以被看作是插入。每个不同的记录</
浏览 3提问于2020-07-21得票数 0
4回答
在我读过的所有Kafka教程中，他们都提到"Kafka分区是不可变的“。但是，我也从这个站点上读到，Kafka会不时地删除分区中的旧消息(取决于您在log- that命令中设置的保留时间)。您可以从下面的屏幕截图中看到，在删除分区中的重复键之后，分区中的数据明显发生了变化：所以我的问题是，说"Kafka分区是不变的“到底是什么意思？
浏览 8提问于2019-10-03得票数 1
回答已采纳
我还有(出乎意料的？)行为。然后我发送这些消息，每个消息至少有1秒的间隔A: 3A: 5B: 20B: 40我所期望的是在几秒钟后(配置为1000？): 40A: 5A
浏览 2提问于2020-04-25得票数 2
回答已采纳
我有一个关于卡夫卡话题清理策略和他们在log.retention上的互动的问题...例如，如果我将cleanup.policy设置为compact，那么压缩只会在主题的保留时间之后开始，或者保留时间对压缩没有影响？问题的第二部分，如果我使用compact，一起删除，假设我有一天的log.retention，主题一直被压缩，但主题的内容将在一天后被删除？或者在一天后实现压缩和
浏览 4提问于2019-04-10得票数 6
回答已采纳
1回答
在MySQL中有没有办法只记录删除？我尝试使用mysql二进制日志选项，但不幸的是，有太多的插入我的数据库和文件立即膨胀。如果我让它增长超过一天左右，它将占用服务器上的所有空间。我只想记录删除操作，以便进行灾难恢复。有什么想法吗？
浏览 0提问于2009-11-01得票数 0
回答已采纳
我的输入是1:45$，我们正在处理消息，接下来我将更新1:null。我希望输出是相同主题中的1:null。topic latest-product-price --property print.key=true --property key.separator=:: --from-beginning
但在我的情况下，我没有发现任何压缩，需要一些输入才能使值成为1::null。
浏览 6提问于2019-12-10得票数 1
1回答
我使用的是带有压缩功能的log4j滚动文件附加器。它每小时滚动一次文件并将其压缩。有时它就是拉不上拉链。因此，我们有一个解压缩的日志文件，还有一个名称相同但没有字节的压缩日志文件。可能的原因是什么。</Policies>我在类路径中添加了apache- log4j -extras 1.2.17.jar，log
浏览 68提问于2017-07-24得票数 0
我试图删除卡夫卡主题中的一个特定信息或记录。我知道卡夫卡不是为这个而生的。但是，是否可以使用主题压缩来使用特定的Kafka键将记录替换为空记录？这是如何做到的呢？
谢谢
浏览 5提问于2020-04-23得票数 2
我删除了一个7GB的apache2 other_vhosts_access.log.1来释放服务器上的一些空间。基本上，除了最近的访问日志之外，我还删除了所有这些日志。最大的是未压缩的--我想它不是通过log旋转式(它正在运行)。运行df -h没有显示额外的空间，我已经尝试了apache/apachectl restart/reload/gracefu
浏览 0提问于2012-11-07得票数 5
我使用AWS集群，将代理日志打开到CloudWatch。日志记录工作，我可以看到代理日志。我们有一些关于cleanup.policy=compact的主题和一些关于cleanup.policy=delete的主题。该系统在新的集群上运行了大约2周。从我的研究(例如)中，我发现kafka应该运行日志清理器(显然)，并且在日志中应该有这种活动的一些跟踪。但是，在我的CloudWatch
浏览 15提问于2022-05-09得票数 1
我们有一个Debezium MySQL连接器在运行，历史主题已经有了无限的保留。Consider to increase the value for database.history.kafka.recovery.poll.interval.ms
我能注意到的另一件事是，由于在被监视的数据库中创建和删除临时表(没有被debezium连接器跟随)，有大量的消息被插入到历史主题中。这些消息可能是连接器无法读取历史主题消息的原因吗？我们考虑过为历史主题启用日志</em
浏览 0提问于2020-08-11得票数 1
KeyedMessage<String, String> data = new KeyedMessage<String, String>(topic, partitionKey, payload);促使我们朝这个方向思考的文档是：
浏览 2提问于2014-10-30得票数 2
试图把我的注意力集中在kafkas压缩主题的语义上，一个具体的问题是，当我重新发布一个先前被删除的键时会发生什么：
(3)可能在(2)之后不久发生，即在删除墓碑被清除之前。我所希望的是，(3)将得到保留。
浏览 0提问于2018-08-30得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
