使用Docker部署Kafka单机版
一、前言
Kafka是一个开源的分布式消息引擎/消息中间件，同时Kafka也是一个流处理平台。Kakfa支持以发布/订阅的方式在应用间传递消息，同时并基于消息功能添加了Kafka Connect、Kafka Streams以支持连接其他系统的数据(Elasticsearch、Hadoop等)
Kafka在生产环境下使用通常是集群化部署的，同时也要依赖ZooKeeper集群，这对开发测试环境来说比较重，不过我们可以通过Docker便捷Kafka单机的方式，节省部署时间以及机器资源
1、本文主要内容
- 通过Docker手动部署ZooKeeper&Kafka
- 通过Docker Compose快捷部署ZooKeeper&Kafka
- Kafka发送、接收消息测试
2、本文环境信息
工具 | 说明 | 适配 |
|---|---|---|
Docker | Docker CE 23.0.5 | Docker CE * |
Docker Desktop | 4.19.0 | 4.0.x |
ZooKeeper | zookeeper:3.8（Docker Image ） | zookeeper:3.x（Docker Image ） |
Kafka | wurstmeister/kafka:2.13-2.8.1（Docker Image） | wurstmeister/kafka:2.x（Docker Image） |
二、手动部署Kafka
1、拉取镜像
先通过docker pull 命令把镜像拉取下来，方便后续操作
docker pull zookeeper:3.8
docker pull wurstmeister/kafka:2.13-2.8.12、创建数据卷
创建数据卷，方便数据持久化
docker volume create zookeeper_vol
docker volume create kafka_vol3、创建ZooKeeper容器
创建zookeeper-test容器，同时挂载数据卷和并指定端口映射（2181）
docker run -d --name zookeeper-test -p 2181:2181 \
--env ZOO_MY_ID=1 \
-v zookeeper_vol:/data \
-v zookeeper_vol:/datalog \
-v zookeeper_vol:/logs \
zookeeper4、创建Kafka容器
创建kafka-test容器，同时挂载数据卷和并指定端口映射（9092），并将zookeeper-test链接到该容器，使Kafka可以成功访问到zookeeper-test，Kafka相关参数通过环境变量（—env）设置
docker run -d --name kafka-test -p 9092:9092 \
--link zookeeper-test \
--env KAFKA_ZOOKEEPER_CONNECT=zookeeper-test:2181 \
--env KAFKA_ADVERTISED_HOST_NAME=localhost \
--env KAFKA_ADVERTISED_PORT=9092 \
--env KAFKA_LOG_DIRS=/kafka/logs \
-v kafka_vol:/kafka \
wurstmeister/kafka通过这种方式可以掌握整个部署过程，也可以达成ZooKeeper的复用，不过稍显繁琐
三、Docker Compose部署Kafka
1、创建Docker Compose配置文件
使用Docker Compose可以将一系列创建及映射资源（网络、数据卷等）操作放在配置文件中，并且可以通过depends_on参数指定容器的启动顺序，通过environment参数指定Kafka需要的基本参数信息
创建kafka-group.yml，保存以下信息
version: '3'
name: kafka-group
services:
zookeeper-test:
image: zookeeper
ports:
- "2181:2181"
volumes:
- zookeeper_vol:/data
- zookeeper_vol:/datalog
- zookeeper_vol:/logs
container_name: zookeeper-test
kafka-test:
image: wurstmeister/kafka
ports:
- "9092:9092"
environment:
KAFKA_ADVERTISED_HOST_NAME: "localhost"
KAFKA_ZOOKEEPER_CONNECT: "zookeeper-test:2181"
KAFKA_LOG_DIRS: "/kafka/logs"
volumes:
- kafka_vol:/kafka
depends_on:
- zookeeper-test
container_name: kafka-test
volumes:
zookeeper_vol: {}
kafka_vol: {}2、启动容器组
# 启动Kafka容器组
docker compose -f kafa-group.yml up -d
# 输出示例
✔ Network kafka-group_default Created
✔ Volume "kafka-group_zookeeper_vol" Created
✔ Volume "kafka-group_kafka_vol" Created
✔ Container zookeeper-test Started
✔ Container kafka-test Started四、Kafka消息测试
1、启动Kafka Producer
新开一个命令后窗口，然后执行以下命令，启动Kafka Producer，准备往topic:test发送消息
# 进入容器
docker exec -it kafka-test /bin/bash
# 进入Kafka bin目录
cd /opt/kafka/bin
# 启动Producer
sh kafka-console-producer.sh --broker-list localhost:9092 --topic test2、启动Kafka Consumer
新开一个命令后窗口，然后执行以下命令，启动Kafka Consumer，订阅来自topic:test的消息
# 进入容器
docker exec -it kafka-test /bin/bash
# 进入Kafka bin目录
cd /opt/kafka/bin
# 启动Consumer
sh kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test3、收发消息测试
在Producer命令行窗口输入内容，然后回车即可发送消息
然后再Consumer命令行窗口可以看到收到的消息
五、备注
1、可能碰到的问题
如果你碰到ZooKeeper、Kafka容器无法正常启动，可以删除数据卷以及容器后进行创建
# 停用&删除容器
docker stop zookeeper-test kafka-test
docker rm zookeeper-test kafka-test
# 删除数据卷
docker volume rm zookeeper_vol kafka_vol
docker volume rm kafka-group_kafka_vol kafka-group_zookeeper_vol