专栏首页简单聊聊SparkKafka系列文章第2篇之安装测试

Kafka系列文章第2篇之安装测试

​前言

上篇文章讲解了 Kafka 的基础概念和架构,了解了基本概念之后,必须得实践一波了,所谓“实践才是检验真理的唯一办法”,后续系列关于 Kafka 的文章都以 kafka_2.11-0.9.0.0 为例;另外为了让大家快速入门,本文只提供单机版的安装实战教程,如果有想尝试集群方案的,后面在出一篇集群安装的教程,废话不多说了,直接开干。

安装

1. 下载

版本号:kafka_2.11-0.9.0.0

下载地址:http://kafka.apache.org/downloads

2. 安装

# 安装目录
$pwd
/Users/my/software/study
# 减压
$ sudo tar -zxvf kafka_2.11-0.9.0.0.tgz
# 重命名
$ sudo mv kafka_2.11-0.9.0.0.tgz kafka-0.9
# 查看目录结构
$cdkafka-0.9 && ls
LICENSE   NOTICE    bin       config    libs      site-docs
# 目录结构介绍:
# bin: 			存放kafka 客户端和服务端的执行脚本
# config:		存放kafka的一些配置文件
# libs:			存放kafka运行的的jar包
# site-docs:	存放kafka的配置文档说明
# 配置环境变量,方便在任意目录下运行kafka命令
# 博主使用的Mac,所以配置在了 ~/.bash_profile文件中,
# Linux中则配置在 ~/.bashrc 或者  ~/.zshrc文件中
$ vim ~/.bash_profile
export KAFKA_HOME=/Users/haikuan1/software/study/kafka-0.9
export PATH=$PATH:$JAVA_HOME:$KAFKA_HOME/bin
# 使得环境变量生效
$source~/.bash_profile

3.运行

3.1 启动 zookeeper

# 启动zookeeper,因为kafka的元数据需要保存到zookeeper中
$ bin/zookeeper-server-start.sh config/zookeeper.properties
# 若出现如下信息,则证明zookeeper启动成功了
[2020-04-25 16:23:44,493] INFO Server environment:user.dir=/Users/haikuan1/software/study/kafka-0.10 (org.apache.zookeeper.server.ZooKeeperServer)
[2020-04-25 16:23:44,505] INFO tickTime set to 3000 (org.apache.zookeeper.server.ZooKeeperServer)
[2020-04-25 16:23:44,505] INFO minSessionTimeout set to -1 (org.apache.zookeeper.server.ZooKeeperServer)
[2020-04-25 16:23:44,505] INFO maxSessionTimeout set to -1 (org.apache.zookeeper.server.ZooKeeperServer)
[2020-04-25 16:23:44,548] INFO binding to port 0.0.0.0/0.0.0.0:2181 (org.apache.zookeeper.server.NIOServerCnxnFactory)

3.2 启动 Kafka server

# 以守护进程的方式启动kafka服务端,去掉 -daemon 参数则关闭当前窗口服务端自动退出
$ bin/kafka-server-start.sh -daemon config/server.properties

3.3 kafka 基础命令使用

# 1. 创建一个topic
# --replication-factor:指定副本个数
# --partition:指定partition个数
# --topic:指定topic的名字
$ bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partition 1 --topic mytopic
# 2. 查看创建成功的topic
$ kafka-topics.sh --list --zookeeper localhost:2181

4. 创建生产者和消费者

# 4.1 启动kafka消费端
# --from-beginning:从头开始消费,该特性也表明kafka消息具有持久性
$ bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic mytopic --from-beginning
# 4.2 启动kafka生产端
# --broker-list:当前的Broker列表,即提供服务的列表
$ bin/kafka-console-producer.sh --broker-list localhost:9092 --topic mytopic
生产者消费者效果图

5.使用 Java 连接 kafka 进行测试

5.1 创建一个 maven 工程,引入如下 pom 依赖

org.apache.kafka

kafka-clients

0.9.0.0

org.apache.kafka

kafka_2.11

0.9.0.0

5.2 消费者端代码

消费者端代码

5.3 生产者端代码

生产者端代码

5.4 消费者端效果图

5.总结

本文介绍了 kafka 单机版安装及简单命令使用,然后使用 Java 实现了生产者和消费者的简单功能,虽然内容可能比较简单,但还是强烈建议大家手动去实践一下,从而对 kafka 的架构有一个更深入的理解。下篇文章我们来介绍一下 Kafka 常用参数及其背后的原理,敬请期待。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Kafka系列8:一网打尽常用脚本及配置,宜收藏落灰!

    通过前面 7 篇文章的介绍,小伙伴们应该对 Kafka 运行工作原理有一个相对比较清晰的认识了。为了提高平时的工作效率,帮助我们快速定位一些线上问题,比如查看部...

    z小赵
  • spark-1.3.0的编译及三种运行模式的配置

    最近安装spark1.3.0并与Hadoop2.5.0集成,在Spark的历史资源管理中心没有找到对应的版本,而且在网上也没有找到对应版本的编译教程,于是只能根...

    z小赵
  • 重要:Kafka第3篇之一条消息如何被存储到Broker上

    经过上篇文章的简单实战之后,今天来聊聊生产者将消息从客户端发送到 Broker 上背后发生了哪些故事,看不看由你,但是我保证可以本篇文章你一定可以学到应用背后的...

    z小赵
  • Golang之发送消息至kafka

    1、安装JAVA-JDK,从oracle下载最新的SDK安装(我用的是1.8的)  2、安装zookeeper3.3.6,下载地址:http://apache....

    超蛋lhy
  • 轻松上手 Spring Boot & Kafka 实战!

    Kafka需要依赖zookeeper,并且自身集成了zookeeper,zookeeper至少需要3个节点保证集群高可用,下面是在单机linux下创建kafka...

    Java技术栈
  • CDH集成Kafka

    1.离线 先下载相应版本的kafka http://archive.cloudera.com/kafka/parcels/ 然后放置相应目录,如下图...

    shengjk1
  • 00 Confluent_Kafka权威指南-前言部分

    对kafka来说,这是一个激动人心的时刻。kafka被成千上万个组织使用,包含了三分之一的世界500强公司。它是增长最快的开源项目之一,围绕它产生了一个巨大的生...

    冬天里的懒猫
  • Kafka常用命令收录

    本文内容主要来自两个方面:一是网上的分享,二是自研的随手记。日记月累,收录kafka各种命令,会持续更新。

    一见
  • K8S环境快速部署Kafka(K8S外部可访问)

    本次实战涉及到的K8S、Helm、NFS、StorageClass等前置条件,它们的安装和使用请参考:

    程序员欣宸
  • kafka的Docker镜像使用说明(wurstmeister/kafka)

    在hub.docker.com网站上,Star最多的kafka镜像是wurstmeister/kafka,今天一起来实践这个镜像,使用此镜像搭建kafka环境,...

    程序员欣宸

扫码关注云+社区

领取腾讯云代金券