专栏首页犀牛饲养员的技术笔记kafka系列之彻底弄清楚各版本差异

kafka系列之彻底弄清楚各版本差异

我自己用了 kafka 也挺久的了,关于kafka的版本规则,各个大版本的升级究竟做了哪些优化等,并没有特别的关注。

本文打算做一个比较详细的整理。

1、版本命名规则

1.x之后,kafka 全面启用三位数的命名规则。也就是说,以前的版本都是这样色的,

  • 0.8.2.2
  • 0.9.0.1
  • 0.10.0.0

后来1·x之后,kafka 全面启用了三位数版本规则,如果下图所示,

新的版本规则,即 “大版本-小版本-patch版本“ 比较符合主流。

我们现在看到的 kafka 版本通常是这样的,

  • kafka_2.11-2.2.0

前面部分2.11其实是scala的版本(kafka是scala编写的),后面三位就是真正的 kafka 版本。

2、几个主要的里程碑

0.8.2版本

  • 为了提高吞吐量,producer 都以异步批量的方式发送消息到 broker 节点。
  • consumer 的消费偏移位置 offset 由原来的保存在 zookeeper 改为保存在 kafka 本身。

0.9版本

  • 增加安全相关特性,客户端连接 kafka 可以使用ssl或者sasl进行验证。
  • 增加 kafka connect 模块
  • 新的 consumer api

1.0.0版本

  • 支持 java 9
  • 增强 stream api
  • 引入了线程协议,便于升级

2.0.0版本

  • 最低支持 java8
  • 弃用多处 scala 相关的依赖,java 成主流

2.2.0

  • 默认的consumer group id 由 "" 改为 null。
  • bin\kafka-topic.sh 支持指定 --bootstrap-server,代替原来的--zookeeper

3、关于客户端版本

kafka 支持多个语言的客户端api,我只关注 java 客户端。maven 的工程我们一般这样引入 kafka 客户端,

<dependency>
            <groupId>org.apache.kafka</groupId>
            <artifactId>kafka_2.11</artifactId>
            <version>0.10.2.0</version>
        </dependency>

这种会引入两个依赖jar,分别是

  • kafka-clients-0.10.2.0.jar
  • kafka_2.11-0.10.2.0.jar

前者是官方推荐的java客户端,后者是scala客户端。调用方式有所不同。如果确定不使用 scala api,也可以用下面这种方式只包含java版本的客户端。

<dependency>
            <groupId>org.apache.kafka</groupId>
            <artifactId>kafka-clients</artifactId>
            <version>0.10.2.0</version>
        </dependency>

一个原则是,尽量保持客户端版本和服务器上运行的server版本一致

参考:

http://kafka.apache.org/documentation.html#upgrade_110_notable

本文分享自微信公众号 - 犀牛饲养员的技术笔记(coder_start_up),作者:siwuxie18

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-09-22

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • kafka系列之camel-kafka

    首先关于 camel 的基本概念和用法,以及 kafka 的基本概念和用法,这里就不啰嗦了。这篇文章假设你对二者都有基本的认识。

    用户7634691
  • 不要被kafka的异步模式欺骗了

    kafka的生产者可以选择使用异步方式发送数据,所谓异步方式,就是我们调用 send() 方法,并指定一个回调函数, 服务器在返回响应时调用该函数。

    用户7634691
  • kafka发送客户端在高并发场景下如何保证不频繁GC的

    最近看kafka源码,着实被它的客户端缓冲池技术优雅到了。忍不住要写篇文章赞美一下(哈哈)。

    用户7634691
  • 如何在Kerberos环境使用Flume采集Kafka数据并写入HDFS

    注意:Fayson的github调整为:https://github.com/fayson/cdhproject,本文的代码在github中也能找到。

    Fayson
  • Docker容器中一定要避免的10件事

    但是,许多用户仍然像对待典型虚拟机一样对待容器,而忘记了容器具有重要的特征:即容器是一次性的。

    xcbeyond
  • Docker容器中一定要避免的10件事

    但是,许多用户仍然像对待典型虚拟机一样对待容器,而忘记了容器具有重要的特征:即容器是一次性的。

    xcbeyond
  • Google Analytics 4 中设置转化/目标的三种方法

    GA4中要设置转化有三种情况,只有事件能直接设置成转化,但其他的,都先设置成事件,再设置成转化。

    GA小站
  • Google Analytics 4 中设置目标/转化的三种方式

    GA4中要设置转化有三种情况,只有事件能直接设置成转化,但其他的,都先设置成事件,再设置成转化。

    GA小站
  • 原 MariaDB编译安装

    霡霂
  • docker是啥?是干什么的?

    docker有3大核心:镜像、容器、仓库。 鲸鱼是操作系统。 要交付的应用程序是各种货物,要将各种形状和尺寸不同的货物放到大鲸鱼上,得考虑每件货物怎么安放(应用...

    兔子吖

扫码关注云+社区

领取腾讯云代金券