kafka的push、pull分别有什么优缺点

青山师

发布于 2023-05-05 20:08:58

5250

发布于 2023-05-05 20:08:58

文章被收录于专栏：IT当时语_青山师_JAVA技术栈IT当时语_青山师_JAVA技术栈

kafka的push、pull分别有什么优缺点

Kafka 是由 Apache 软件基金会开发的一个开源流处理平台，广泛应用于各大互联网公司的消息系统中。在 Kafka 中，生产者使用 push 模式将消息推送给 Kafka 集群，而消费者则使用 pull 模式从 Kafka 集群中拉取消息。本文对 Kafka 的 push 和 pull 两种模式进行比较，分析其优缺点。

Push 模式

Push 模式是 Kafka 最初实现的默认方式。在这种模式下，生产者将消息直接推送到 Kafka 集群中的分区中，分区会自动将消息存储在磁盘上，并异步地将消息传输到消费者。使用 push 模式时，生产者主动控制消息的推送速度，而消费者则以自己的速度从 Kafka 集群中拉取可用的消息。

优点

实时性较高：push 模式下，消息可以即时被推送到 Kafka 集群中，而消费者也可以即时拉取消息，适用于要求实时性较高的场景。
生产者控制消息速率：使用 push 模式时，生产者可以控制消息的推送速率，避免因过快的消息推送导致集群负载过高。
基于时间戳的消息排序：push 模式下，Kafka 会根据消息的时间戳对消息进行排序，由此可以确保消费者按正确的顺序消费消息。

缺点

消费者的不确定性：在 push 模式下，消费者需要等待生产者推送消息，如果生产者没有推送新消息，消费者就不能获取新的数据，这会导致消息实时性较低。
资源浪费：使用 push 模式时，可能会发送大量重复或无效的消息，导致资源的浪费。

Pull 模式

Pull 模式是 Kafka 新增的方式，使用该模式时，消费者可以自主选择从哪个分区开始拉取消息，并可以自主控制拉取消息的速度。Kafka 中为消费者维护着一个 offset，表示消费者已经消费的消息序号，当消费者拉取消息时，Kafka 会返回该消费者还没有消费的消息。

优点

消费者灵活性高：使用 pull 模式时，消费者可以自主决定拉取消息的速率和开始消费的位置。
减少消息浪费：使用 pull 模式时，可以避免发送大量无效或重复的消息，减少资源的浪费。

缺点

实时性较低：使用 pull 模式时，消费者可能需要等待一定的时间才能获取到新的消息，这会导致消息实时性较低。
需要消费者主动拉取：在 pull 模式下，消费者需要自己控制拉取消息的速率和时机，这会增加一定的操作复杂度。

实践操作

以下是使用 JAVA 语言在 Kafka 中实现 push 和 pull 模式的示例代码。

// push 模式示例代码
import org.apache.kafka.clients.producer.*;
import java.util.Properties;

public class KafkaProducerExample {
    public static void main(String[] args) throws Exception {
        Properties props = new Properties();
        props.put("bootstrap.servers", "localhost:9092");
        props.put("acks", "all");
        props.put("retries", 0);
        props.put("batch.size", 16384);
        props.put("linger.ms", 1);
        props.put("buffer.memory", 33554432);
        props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

        Producer<String, String> producer = new KafkaProducer<>(props);
        for (int i = 0; i < 100; i++)
            producer.send(new ProducerRecord<>("my_topic", Integer.toString(i), Integer.toString(i)));
        producer.close();
    }
}

// pull 模式示例代码
import org.apache.kafka.clients.consumer.Consumer;
import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.common.serialization.StringDeserializer;
import java.time.Duration;
import java.util.Collections;
import java.util.Properties;

public class KafkaConsumerExample {
    public static void main(String[] args) throws Exception {
        Properties props = new Properties();
        props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
        props.put(ConsumerConfig.GROUP_ID_CONFIG, "test");
        props.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "earliest");
        props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());
        props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());

        Consumer<String, String> consumer = new KafkaConsumer<>(props);
        consumer.subscribe(Collections.singletonList("my_topic"));

        while (true) {
            ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
            for (ConsumerRecord<String, String> record : records)
                System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
        }
    }
}

上述代码实现了一个简单的生产者 push 模式和一个消费者 pull 模式。其中，Producer 将消息推送到 my_topic 主题中，而 Consumer 则从 my_topic 主题中拉取消息，并打印消息的 offset、key 和 value。如果想要测试 Kafka 的 push 和 pull 模式，可以使用上述代码进行操作，更多参数设置请参考官方文档。

综上所述，Kafka 的 push 和 pull 两种模式各有优缺点，需要根据实际情况来选择并合理运用，以达到更好的效果。

本文参与腾讯云自媒体分享计划，分享自作者个人站点/博客。

原始发表：2023-04-29，如有侵权请联系 cloudcommunity@tencent.com 删除

kafka