前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Kafka 单节点单Kafka Broker集群

Kafka 单节点单Kafka Broker集群

作者头像
kongxx
发布2018-05-14 12:05:17
7940
发布2018-05-14 12:05:17
举报

下载与安装

http://www.apache.org/dist/kafka/ 下载最新版本的 kafka,这里使用的是 kafka_2.12-0.10.2.1.tgz

代码语言:javascript
复制
$ tar zxvf kafka_2.12-0.10.2.1.tgz
$ cd kafka_2.12-0.10.2.1

运行

启动 zookeeper 服务

代码语言:javascript
复制
$ bin/zookeeper-server-start.sh config/zookeeper.properties

启动 kafka Broker 服务

代码语言:javascript
复制
$ bin/kafka-server-start.sh config/server.properties

测试

首先,创建一个单分区单副本的 topic: mytopic

代码语言:javascript
复制
$ bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic mytopic
Created topic "mytopic".

然后,可以通过运行 list 命令来查看已经存在的 topic,比如:

代码语言:javascript
复制
$ bin/kafka-topics.sh --list --zookeeper localhost:2181
mytopic

也可以使用 describe 命令来查看。由于我们现在是单分区单副本的case,所以 Leader 和 Isr (复制节点集合)都只在Broker 0上。

代码语言:javascript
复制
bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic mytopic
Topic:mytopic   PartitionCount:1    ReplicationFactor:1 Configs:
    Topic: mytopic  Partition: 0    Leader: 0   Replicas: 0 Isr: 0

现在,我们通过 Kafka 自带命令行客户端向这个 topic 发送消息。

代码语言:javascript
复制
$ bin/kafka-console-producer.sh --broker-list localhost:9092 --topic mytopic
aaa
bbb
ccc

另开一个终端,然后使用 Kafka 自带的命令行工具来消费这些消息。

代码语言:javascript
复制
$ bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic mytopic --from-beginning
...
aaa
bbb
ccc

此时可以在 producer 命令行窗口继续输入消息,然后观察 consumer 终端窗口,可以看到它们被消费打印出来。

使用 Kafka Connect 导入导出数据

下面使用 Kafka 的 Connect 演示从一个变化的文件中读取增量数据然后输出到另外一个文件中。

首先运行下面的脚本,此脚本会每隔一秒会向 test.txt 文件中追加一个数字。

代码语言:javascript
复制
$ for i in {1..300};do echo $i >> test.txt; sleep 1; done

然后运行下面的脚本,此时生产者从 test.txt 文件中读取文件内容并作为消息发送到topic中,然后消费者从topic中消费消息并输出到 test.sink.txt 文件中。命令行使用的配置文件中定义了输入输出的文件名和使用的topic名。

代码语言:javascript
复制
$ bin/connect-standalone.sh config/connect-standalone.properties config/connect-file-source.properties config/connect-file-sink.properties

运行后,另开一个终端来观察 test.sink.txt 文件中的内容,可以看到文件中的内容会不停的增加。

删除 Topic

要删除 topic,可以使用下面的命令

代码语言:javascript
复制
$ bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic mytopic

但是运行命令后,topic并没有被删除,使用 “bin/kafka-topics.sh --list --zookeeper localhost:2181” 仍然可以查到。此时我们需要修改config/server.properties文件中的 “delete.topic.enable=true” 来打开这个功能。此时我们再执行上面的 --delete 操作,即可删除topic了。

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2017.06.21 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 下载与安装
  • 运行
    • 启动 zookeeper 服务
      • 启动 kafka Broker 服务
      • 测试
      • 使用 Kafka Connect 导入导出数据
      • 删除 Topic
      相关产品与服务
      命令行工具
      腾讯云命令行工具 TCCLI 是管理腾讯云资源的统一工具。使用腾讯云命令行工具,您可以快速调用腾讯云 API 来管理您的腾讯云资源。此外,您还可以基于腾讯云的命令行工具来做自动化和脚本处理,以更多样的方式进行组合和重用。
      领券
      问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档