聊聊 Kafka： 在 Linux 环境上搭建 Kafka

一、环境准备

jdk下载地址链接：jdk 1.8，提取码: dv5h

zookeeper下载地址链接：zookeeper3.4.14 ，提取码: 3dch

kafka下载地址链接：kafka2.12，提取码: 61bc

1.1 Java环境为前提

1.1.1 上传jdk-8u261-linux-x64.rpm到服务器并安装

1.1.2 配置环境变量

至此，jdk安装成功。

1.2 Zookeeper的安装配置

1.2.1 上传zookeeper-3.4.14.tar.gz到服务器，解压到/opt

1.2.2 修改Zookeeper保存数据的目录，dataDir

1.2.3 编辑/etc/profile，使配置生效

配置完以后再生效配置：

1.2.4 启动Zookeeper，确认Zookeeper的状态

至此，zookeeper安装成功。

1.3 Kafka 的安装与配置

1.3.1 上传kafka_2.12-1.0.2.tgz到服务器并解压

1.3.2 配置环境变量并生效

1.3.3 配置/opt/kafka_2.12-1.0.2/config中的server.properties文件

配置kafka存储持久化数据目录

创建上述持久化数据目录

1.4 启动Kafka

进入Kafka安装的根目录，执行如下命令：

启动成功，可以看到控制台输出的最后一行的started状态：此时kafka安装成功。

1.5 重新开一个窗口，查看Zookeeper的节点

1.6 此时Kafka是前台模式启动，要停止，使用Ctrl+C

如果要后台启动，使用命令：

查看Kafka的后台进程：

停止后台运行的Kafka：

二、生产与消费

查看zookeeper状态，zookeeper启动成功，再启动kafka。

2.1 kafka-topics.sh 用于管理主题

查看命令的帮助信息

列出现有主题，创建主题，该主题包含一个分区，该分区为Leader分区，它没有Follower分区副本。

查看指定主题的详细信息

创建主题，该主题包含多个分区

2.2 kafka-console-consumer.sh用于消费消息

2.3 kafka-console-producer.sh用于生产消息

2.4 具体操作

开启消费者和生产者，生产并消费消息。

消费者，按照偏移量消费

消费者从头消费，不按照偏移量消费