首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Kafka2.4发布——新特性介绍(附Java Api Demo代码)

Kafka2.4发布——新特性介绍(附Java Api Demo代码)

作者头像
大数据流动
发布2020-01-02 17:26:39
8490
发布2020-01-02 17:26:39
举报
文章被收录于专栏:实时计算实时计算
file
file

新功能

  • 允许消费者从最近的副本进行获取
  • 为 Consumer Rebalance Protocol 增加对增量协同重新均衡(incremental cooperative rebalancing)的支持
  • 新增 MirrorMaker 2.0 (MM2),新的多集群跨数据中心复制引擎
  • 引入新的 Java 授权程序接口
  • 支持 KTable 中的非密钥连接
  • 用于重新分配副本的 Administrative API
  • 保护内部连接的 REST 端点
  • 新增删除消费者偏移并通过 AdminClient 公开的 API

改进

  • [KAFKA-5609] - 连接 log4j 会默认记录到文件
  • [KAFKA-6263] - 为群组的元数据加载持续时间暴露指标(Metric)
  • [KAFKA-6883] - KafkaShortnamer 允许将 Kerberos 主体名称转换为大写用户名
  • [KAFKA-6958] - 允许使用 KStreams DSL 定义自定义处理器名称
  • [KAFKA-7018] - 持久使用 memberId 以重新启动消费者
  • [KAFKA-7149] - 减少分配数据大小以提高 kafka 流的可伸缩性
  • [KAFKA-7190] - 在数据传输拥挤的情况下,清除分区 topic 会引起关于 UNKNOWN_PRODUCER_ID 的 WARN 语句
  • [KAFKA-7197] - 升级至 Scala 2.13.0

2.4 Java Api Demo

这里使用官网推荐的,kafka-client 方便 灵活

引入依赖:

<dependency>
            <groupId>org.apache.kafka</groupId>
            <artifactId>kafka-clients</artifactId>
            <version>2.4.0</version>
</dependency>

生产者示例:

public class SimpleProvider {
    public static void main(String[] args) {
        Properties properties = new Properties();
        properties.put("bootstrap.servers", "kafka01:9092,kafka02:9092");
        properties.put("acks", "all");
        properties.put("retries", 0);
        properties.put("batch.size", 16384);
        properties.put("linger.ms", 1);
        properties.put("buffer.memory", 33554432);
        properties.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        properties.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        KafkaProducer<String, String> kafkaProducer = new KafkaProducer<String, String>(properties);
        for (int i = 1; i <= 600; i++) {
            kafkaProducer.send(new ProducerRecord<String, String>("topic", "message"+i));
            System.out.println("message"+i);
        }
        kafkaProducer.close();
    }

}

消费者示例:

public class SingleApplication {
    public static void main(String[] args) {


        Properties props = new Properties();
        props.put("bootstrap.servers", "kafka01:9092,kafka02:9092");
        props.put("group.id", "test");
        props.put("enable.auto.commit", "true");
        props.put("auto.commit.interval.ms", "1000");
        props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");

        props.put("auto.offset.reset","earliest");

        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
        consumer.subscribe(Arrays.asList("foo", "bar"));
        try{
            while (true) {
                ConsumerRecords<String, String> records = consumer.poll(1000);
                for (ConsumerRecord<String, String> record : records) {
                    System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
                }
            }
        }finally{
            consumer.close();
        }
    }
}

其他多线程等示例,详见Github地址:

https://github.com/tree1123/Kafka-Demo-2.4

本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2019-12-30 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 新功能
  • 改进
  • 2.4 Java Api Demo
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档