前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >kafka安装教程

kafka安装教程

作者头像
IT云清
发布2019-03-11 14:11:11
1.3K0
发布2019-03-11 14:11:11
举报
文章被收录于专栏:IT云清IT云清

本文记录在linux环境下,安装kafka,并做简单测试,如果zookeeper没有安装,可参考zookeeper安装

1.下载安装包

地址:http://kafka.apache.org/downloads, 注意不要下载成source了。

在这里插入图片描述
在这里插入图片描述

2.上传至服务器

rz命令上传至服务器

在这里插入图片描述
在这里插入图片描述

解压

代码语言:javascript
复制
[root@localhost local]# tar -zxvf kafka_2.11-2.1.1.tgz 
在这里插入图片描述
在这里插入图片描述

3.修改配置文件

这里这列举几个重要的配置,其他配置如果只是单机的自己做测试不需要修改:

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

4.启动

代码语言:javascript
复制
[root@localhost bin]# ./kafka-server-start.sh ../config/server.properties &
在这里插入图片描述
在这里插入图片描述

启动后会刷一波日志然后看到如下信息:

代码语言:javascript
复制
[2019-02-28 10:49:13,727] INFO [ExpirationReaper-1-Rebalance]: Starting (kafka.server.DelayedOperationPurgatory$ExpiredOperationReaper)
[2019-02-28 10:49:14,551] INFO [GroupCoordinator 1]: Starting up. (kafka.coordinator.group.GroupCoordinator)
[2019-02-28 10:49:14,600] INFO [GroupCoordinator 1]: Startup complete. (kafka.coordinator.group.GroupCoordinator)
[2019-02-28 10:49:14,866] INFO [GroupMetadataManager brokerId=1] Removed 0 expired offsets in 228 milliseconds. (kafka.coordinator.group.GroupMetadataManager)
[2019-02-28 10:49:15,019] INFO [ProducerId Manager 1]: Acquired new producerId block (brokerId:1,blockStartProducerId:0,blockEndProducerId:999) by writing to Zk with path version 1 (kafka.coordinator.transaction.ProducerIdManager)
[2019-02-28 10:49:15,143] INFO [TransactionCoordinator id=1] Starting up. (kafka.coordinator.transaction.TransactionCoordinator)
[2019-02-28 10:49:15,279] INFO [TransactionCoordinator id=1] Startup complete. (kafka.coordinator.transaction.TransactionCoordinator)
[2019-02-28 10:49:15,317] INFO [Transaction Marker Channel Manager 1]: Starting (kafka.coordinator.transaction.TransactionMarkerChannelManager)
[2019-02-28 10:49:18,420] INFO [/config/changes-event-process-thread]: Starting (kafka.common.ZkNodeChangeNotificationListener$ChangeEventProcessThread)
[2019-02-28 10:49:18,631] INFO [SocketServer brokerId=1] Started processors for 1 acceptors (kafka.network.SocketServer)
[2019-02-28 10:49:18,690] INFO Kafka version : 2.1.1 (org.apache.kafka.common.utils.AppInfoParser)
[2019-02-28 10:49:18,709] INFO Kafka commitId : 21234bee31165527 (org.apache.kafka.common.utils.AppInfoParser)
[2019-02-28 10:49:18,713] INFO [KafkaServer id=1] started (kafka.server.KafkaServer)
[2019-02-28 10:59:14,552] INFO [GroupMetadataManager brokerId=1] Removed 0 expired off

也可以用命令验证一下:

代码语言:javascript
复制
[root@localhost kafka_2.11-2.1.1]# netstat -tunlp|egrep "(2181|9092)"
tcp6       0      0 :::9092                 :::*                    LISTEN      14019/java          
tcp6       0      0 :::2181                 :::*                    LISTEN      11938/java          
[root@localhost kafka_2.11-2.1.1]# 

5.创建一个topic

创建一个名为“wangtest”的Topic,只有一个分区和一个备份:

代码语言:javascript
复制
[root@localhost bin]# ./kafka-topics.sh --create --zookeeper xx.xx.xx.xx:2181 --replication-factor 1 --partitions 1 --topic wangtest
Created topic "wangtest".
[root@localhost bin]# 

查询一下topic

代码语言:javascript
复制
[root@localhost bin]# ./kafka-topics.sh --list --zookeeper xx.xx.xx.xx:2181
wangtest
[root@localhost bin]# 

6.发送消息

我们发一下消息测试一下:

代码语言:javascript
复制
[root@localhost bin]# ./kafka-console-producer.sh --broker-list xx.x.xx.xx:9092 --topic wangtest
>this is a test message from wangwang
>from itqunqi^H^H^H^H^H^[[3~
>Ties^H^H^H^H
>this test from itu^H
>this test from ityunqing
>

7.消费消息

在另一个终端,可以消费刚才写入的消息

代码语言:javascript
复制
[root@localhost bin]# ./kafka-console-consumer.sh --bootstrap-server xx.xx.xx.xx:9092 --topic wangtest --from-beginning

this is a test message from wangwang
from itqunqi
Ties
this test from itu
this test from ityunqing

资料:http://orchome.com/6

本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2019年02月28日,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 1.下载安装包
  • 2.上传至服务器
  • 3.修改配置文件
  • 4.启动
  • 5.创建一个topic
  • 6.发送消息
  • 7.消费消息
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档