apache kafka中的主题侧压缩

文章/答案/技术大牛

发布

1回答

apache-kafka、apache-flink

如果我们没有提到kafka producer上的压缩类型，如果我们在broker端提到它...性能是如何受到影响的，主题端压缩在哪些批量大小上起作用？

浏览 13提问于2018-08-09得票数 0

1回答

我可以压缩Kafka中KafkaStream使用的中间主题(状态存储)吗

apache-kafka-streams

当使用有状态处理器时，状态也可以存储在kafka中。例如，名称如下的主题：-repartition-x和-changelog-x 例如，我可以用gzip压缩这些主题，而KafkaStream仍然可以使用它们吗？

浏览 47提问于2019-06-14得票数 3

回答已采纳

1回答

将Ktable按键分组后无效(负)时间戳

apache-kafka、apache-kafka-streams

我正在使用KakfkaStreams (2.3.0)来使用流和Ktable (压缩主题)之间的连接来丰富价值。问题是压缩后的主题被写入到使用流主题的不同分区器中，因此联接无法按预期工作(一些键不匹配，因为它们位于不同的分区中)。代理版本为0.10.2。我开始研究如何重新划分压缩的主题，方法是使用一个groupBy()，后面跟着一个()，但是当它

浏览 1提问于2019-08-28得票数 0

回答已采纳

2回答

使用激活压缩的Kafka消息大小

apache-kafka、kafka-producer-api

我对Kafka2.6.0中的消息大小配置有点困惑。但让我们来说说故事：，卡夫卡允许的最大记录批次大小(如果启用压缩，则在压缩之后)。如果增加了这个值，并且有超过0.10.2岁的使

浏览 5提问于2020-11-05得票数 5

回答已采纳

4回答

如何创建卡夫卡紧凑的主题

java、apache-kafka

我有一个Kafka应用程序，它有一个生成主题消息的producer。然后，consumer从主题中获取消息，对给定的消息执行一些逻辑，然后将它们生成到另一个主题。我的SimpleProducer课程：import org.apache</e

浏览 1提问于2018-11-20得票数 7

回答已采纳

1回答

通过Kafka压缩话题遵守GDPR

apache-kafka、kafka-producer-api、confluent-platform、kafka-topic、tombstone

我想问你一些关于apache和压缩主题的问题。我们想提供一些关于卡夫卡压缩主题的PII数据。我们希望通过墓碑删除有关此主题的数据。目前有多个问题需要我们来验证我们的假设：卡夫卡的另一家公司通过一个紧凑的主题(如KIP-354 )满足了gdpr的要求(遗忘的权利)，并提出了我们的假设，即只有当记录不在活动段文件

浏览 4提问于2020-08-12得票数 0

1回答

FlinkKafkaConsumer无法从LZ4压缩主题中读取

apache-flink、lz4

我们有几个阅读卡夫卡主题的flink应用程序，它们工作得很好。但最近，我们向现有的flink作业添加了一个新主题，它在启动时立即开始失败，并出现以下根错误： ... 7 more 我发现这个主题具有lz4压缩，并猜测flink由于某种原因无法使用它。将lz4依赖项直接添加到应用程序

浏览 5提问于2020-07-31得票数 1

回答已采纳

1回答

卡夫卡不会迅速压缩

java、maven、apache-kafka

我很好奇，我想检查一下，对于java客户端，snappy压缩是否有效。我认为这意味着在snappy主题上没有压缩(但是gzip压缩效果很好)。我检查了文件我知道

浏览 0提问于2015-10-16得票数 0

回答已采纳

5回答

如何在Kafka中测试日志压缩是否有效？

message-queue、apache-kafka、retention、stream-compaction

我在Kafka0.8.1.1中修改了server.properties文件，即添加了log.cleaner.enable=true，并在创建主题时启用了cleanup.policy=compact。现在，当我测试它时，我使用以下内容(Key，Message)将下列消息推送到主题中。抵销:1- (123，abc)；现在，我用与早期输入相同的键推送了第4条消息，但更改了消息在这里，日志<em

浏览 8提问于2015-12-15得票数 15

回答已采纳

3回答

获取错误的spark-executor记录-即使在尝试偏移<number>之后也是如此<topic> 0

apache-spark、spark-streaming、kafka-consumer-api

我的Spark作业抛出了一个异常，如下所示：在查看之后，我认为这应该是由于连续的缓冲区缺失(我的缓冲区大小是默认大小- 655

浏览 2提问于2018-01-09得票数 0

2回答

我试图在Kafka中创建一个主题，通过从官方Apache镜像站点下载.tar，我安装了一个新的Kafka副本。我使用tar -xvf命令解压缩包并启动服务器，运行正常。现在我正在尝试命令：bin/kafka-create-topic.sh --zookeeper localhost:2181 --replica 1 --partition 1 --topic test我试图挖掘这个问题，并实际检查文件是否存在，不知怎么结果是否定的<

浏览 2提问于2017-06-15得票数 2

回答已采纳

1回答

没有分区重置策略的org.apache.kafka.clients.consumer.NoOffsetForPartitionException:未定义偏移量

hadoop、apache-kafka、hdfs、apache-kafka-connect、confluent-platform

我们正在使用Kafka连接器，它不断地从Kafka主题中提取数据并在HDFS上提交数据。在成功加载12 + 11小时后，我们突然发现连接器侧出现了此错误。at org.apache.kafka.clients.consumer.KafkaConsumer.pollOnce(KafkaConsumer.java:1035)at org.apache.kafka.clients.consumer.KafkaConsumer.poll:360)at org

浏览 2提问于2017-06-21得票数 2

1回答

KAFKA 1.0 -获取主题分区的数据时出现未知错误

apache-kafka、kafka-consumer-api、kafka-producer-api

作为kafka主题的消费者获取下面的错误。出版商必须使用gzip压缩，然后发布到kafka，因为文件大小超过70mb而没有先前的gzip。当消费者尝试阅读kafka时，会出现以下错误。有什么建议吗？10:56:26,082 [pool-13-thread-1] org.apache.kafka.clients.consumer.internals.Fetcher: Unknown error fetchingdata for topi

浏览 2提问于2018-04-25得票数 2

1回答

Kafka连接主题压缩的最佳实践

apache-kafka、apache-kafka-connect、debezium

我使用的是由卡夫卡连接而成的Debezium。Kafka Connect公开了一些需要创建的主题： OFFSET_STORAGE_TOPIC在运行Kafka服务时需要这个环境变量。将此设置为Kafka主题的名称，在该主题中，组存储连接器中的Kafka服务会偏移。主题应该有许多分区，高度复制(例如，3x或更多)，并且应该配置为压缩

浏览 4提问于2022-05-03得票数 0

回答已采纳

1回答

什么数据格式会被认为是写在卡夫卡上最快的？

java、apache-kafka、kafka-consumer-api

在Kafka中，我们有各种各样的选项来编写数据，例如: String格式，Byte。在写卡夫卡的时候，什么样的数据被认为是最快的。而且，卡夫卡提供了任何工具来压缩整个数据，然后写在上面。同样需要考虑的是，在使用相同的信息时，我们会对其进行去压缩，因此读取数据的成本会增加。

浏览 3提问于2015-09-21得票数 0

1回答

Apache和Kafka流在上有什么区别？

apache-kafka、spring-cloud

在Spring网站()中，列出了要使用的绑定选项。我们有阿帕奇卡夫卡和卡夫卡流选项。，他们之间有什么区别？，为了什么目的，我们应该在这两者之间做出选择？

浏览 3提问于2021-06-18得票数 0

回答已采纳

2回答

如何检测kafka主题中的重复消息？

apache-kafka、kafka-consumer-api、azureservicebus、kafka-producer-api、apache-kafka-streams

嗨，我有一个类似于下图所示的架构。有没有一种方法可以让我以一种简单的方式处理这种情况，比如服务总线主题。 

浏览 1提问于2018-01-03得票数 5

回答已采纳

1回答

Kafka中使用Spring Boot和负载均衡器的独立生产者

spring、apache-kafka、kafka-producer-api、spring-kafka

我已经从Confluent安装了Apache Kafka (使用rest-api和schema-registry)。我使用spring-boot和spring-kafka实现了producer (每个事件都在数据库触发器中生成了uuid )。现在我想把它作为多个实例来运行--但是在kafka中省略重复的正确方法是什么呢？如果我在负载均衡器后面有几个spring-boot实例，并且每个实例都有相同生成的uuid的事件，如何只发送一个到kafka？我可以在

浏览 0提问于2017-12-13得票数 0

2回答

如果我在主题级别和生产者级别设置了“compression.type”，那么优先

apache-kafka

我试图理解'compression.type‘配置，我的问题是，如果我在主题级别和生产者级别设置'compression.type’，那么哪个优先？

浏览 4提问于2020-01-24得票数 8

回答已采纳

1回答

Debezium Mysql Connector为具有无限保留的历史记录主题返回IllegalStateException失败

mysql、apache-kafka-connect、cdc、debezium

我们有一个Debezium MySQL连接器在运行，历史主题已经有了无限的保留。但是奇怪的是，连接器突然失败了，出现了以下异常我能注意到的<

浏览 0提问于2020-08-11得票数 1

点击加载更多