Docker下kafka学习,三部曲之一:极速体验kafka

Kafka是一种高吞吐量的分布式发布订阅消息系统,从本章开始我们先极速体验,再实战docker下搭建kafka环境,最后开发一个java web应用来体验kafka服务。

我们一起用最快的速度体验kafka的消息发布订阅功能:

新建一个docker-compose.yml文件,内容如下:

version: '2'
services:
  zk_server: 
    image: daocloud.io/library/zookeeper:3.3.6
    restart: always
  kafka_server: 
    image: bolingcavalry/kafka:0.0.1
    links: 
      - zk_server:zkhost
    command: /bin/sh -c '/usr/local/work/start_server.sh'
    restart: always
  message_producer: 
    image: bolingcavalry/kafka:0.0.1
    links: 
      - zk_server:zkhost
      - kafka_server:kafkahost
    restart: always
  message_consumer: 
    image: bolingcavalry/kafka:0.0.1
    links: 
      - zk_server:zkhost
    restart: always

打开终端,在docker-compose.yml所在目录下执行docker-compose up -d,由于需要从hub.docker.com下载镜像,所以需要等待几分钟,下载结束后会自动启动四个容器,如下图:

为了更好的观察效果,我们要打开三个终端对不同的容器做操作,在后面我们用编号来表达不同的终端,编号对应如下:

1号 : kafka server 2号 : 消息生产者(producer) 3号 : 消息消费者(consumer)

1号终端中输入以下命令,即可看到kafka server的实时输出信息:

docker logs -f dockerkafka_kafka_server_1

输入命令后看到的信息如下图,与zookeeper连接成功,启动成功:

2号终端中输入以下命令,进入消息生产者容器:

docker exec -it dockerkafka_message_producer_1 /bin/bash

再执行以下命令创建一个主题:

$WORK_PATH/$KAFKA_PACKAGE_NAME/bin/kafka-topics.sh --create --zookeeper zkhost:2181 --replication-factor 1 --partitions 1 --topic test001

3号终端中输入以下命令,进入消息消费者容器:

docker exec -it dockerkafka_message_consumer_1 /bin/bash

执行以下命令可以查看当前kafka sever上的所有主题:

$WORK_PATH/$KAFKA_PACKAGE_NAME/bin/kafka-topics.sh --list --zookeeper zkhost:2181

可以看到刚才在2号终端创建的主题,如下图:

继续在3号终端上执行以下命令,即可订阅主题为test001的消息:

$WORK_PATH/$KAFKA_PACKAGE_NAME/bin/kafka-console-consumer.sh --zookeeper zkhost:2181 --topic test001 --from-beginning

此时回到1号终端,可以看到消息订阅者容器的连接信息,如下图:

现在主题也创建了,订阅也添加了,可以测试消息的发送和接收了:

在2号终端,执行以下命令,就可以进入发送消息的交互模式:

$WORK_PATH/$KAFKA_PACKAGE_NAME/bin/kafka-console-producer.sh --broker-list kafkahost:9092 --topic test001

此时已经进入了交互模式,继续输入一个字符串,例如hello world!,再输入回车键,即可发送内容为”hello world!”的消息,如下图:

现在回到3号终端,可以看到已经接收到了最新的消息,内容被打印出来了,如下图:

最后我们回到1号终端,能看到消息生产者的连接信息,如下图:

至此,我们快速体验了kafka的消息发布订阅功能,下一章我们再细说docker下kafka环境的搭建过程。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏性能与架构

Kafka 快速起步

主要内容: 1. kafka 安装、启动 2. 消息的 生产、消费 3. 配置启动集群 4. 集群下的容错测试 5. 从文件中导入数据,并导出到文件 单机示例 ...

3469
来自专栏喵了个咪的博客空间

Otter-入门篇3(Node搭建)

Otter-入门篇3(Node搭建) ? 前言 哈咯大家好呀!今天是对otter准备的最后一个流程,配置好node,并且吧manager,zookeeper和n...

35713
来自专栏容器云生态

根据红帽RHEL7官方文档对centos7进行技术剖析(三)

第一章:高级网络配置 1.虚拟网卡的添加 ifconfig eth0:1 10.0.0.2 netmask 255.255.255.0 临时添加虚拟网卡 永久保...

2688
来自专栏xingoo, 一个梦想做发明家的程序员

Elasticsearch集群配置以及REST API使用

ES安装与启动   在官网下载压缩包,解压后直接运行bin目录下的.bat文件即可。下载地址戳这里。 ? ES配置集群   Elasticsearch配置集群很...

18110
来自专栏分布式系统和大数据处理

Kafka分布式消息系统(搭建Kafka集群) - Part.3

在前面两篇文章中,我们了解了基本概念,也安装、配置好了zookeeper集群,在这篇文章中,我们将一步步搭建kafka集群。

613
来自专栏FreeBuf

看我如何通过Tor Onion在Windows中执行远程Shell

操作方法 首先,我们要在一个Windows Tor客户端中创建一个Tor onion服务(即隐藏服务)。我下载了Tor Expert bundle(同样适用于T...

2025
来自专栏Danny的专栏

【Redis】——Redis简单介绍及Redis安装详细过程

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/huyuyang6688/article/...

471
来自专栏IT笔记

MongoDB从入门到“精通”之如何优雅的安装

说一件逗比的事情,昨晚忙活了1个小时,把教程一梳理了一下,其实也没什么好梳理的,就是查阅了一下下命令的使用情况。 本来就很早接触了mongo,只是没有继续深入罢...

3296
来自专栏云计算教程系列

如何在Centos7上安装保护Redis

Redis是一个开源的内存数据结构存储,擅长缓存。Redis是一个非关系型数据库,以其灵活性,性能,可伸缩性和广泛的语言支持而闻名。

653
来自专栏青枫的专栏

linux命令 uname -r 和 uname -a 的解释与演示

1、uname -r : 显示操作系统的发行版号 2、uname -a :显示系统名、节点名称、操作系统的发行版号、内核版本等等。

441

扫码关注云+社区