先来整体熟悉下Kafka的一些概念和架构 (一)什么是Kafka? Kafka是由LinkedIn开发并开源的一个分布式消息系统,因其分布式和高吞吐率被广泛应用,现在已经在Hadoop和Spark等大数据的生态系统中成为一个必不可少的生态组件,可与各种计算模型,如离线计算,实时计算,流计算对接数据。 (二)为什么要用Kafka? 1,以时间复杂度O(1)的方式提供消息持久化和访问能力,即使应对TB级数据也能保证常数时间内的的访问和存储。 2,高吞吐率,在普通PC上也能保证每秒10万左右的消息传输能力 3,支持消息分区存储,并保证分区内消息的时序性,可支持分布式消费 4,能对接多种计算模型 5,支持副本,容错,水平扩容等特性。 (三)Kafka的名词解释 1,Broker : 一个单独的kafka机器节点就称为一个broker,多个broker组成的集群,称为kafka集群 2,Topic :类似数据库中的一个表,我们将数据存储在Topic里面,当然这只是逻辑上的,在物理上,一个Topic 可能被多个Broker分区存储,这对用户是透明的,用户只需关注消息的产生于消费即可 3,Partition:类似分区表,每个Topic可根据设置将数据存储在多个整体有序的Partition中,每个顺序化partition会生成2个文件,一个是index文件一个是log文件,index文件存储索引和偏移量,log文件存储具体的数据 4,Producer:生产者,向Topic里面发送消息的角色 5,Consumer:消费者,从Topic里面读取消息的角色 6,Consumer Group:每个Consumer属于一个特定的消费者组,可为Consumer指定group name,如果不指定默认属于group (四)Kafka的拓扑架构
(五)Kafka的安装 三台机器+外置Zookeeper集群: 192.168.1.1 kakfa1 zk1 192.168.1.2 kakfa2 zk2 192.168.1.3 kakfa3 zk3 关于zookeeper集群的安装,请参考博客:http://qindongliang.iteye.com/blog/1985145 (1) 下载kafka0.9.0.0 wget http://archive.apache.org/dist/kafka/0.9.0.0/kafka_2.11-0.9.0.0.tgz (2)解压到某个目录 tar -zxvf kafka/0.9.0.0/kafka_2.11-0.9.0.0.tgz (3)配置config/server.properties 三个重要配置:
Java代码
(4)一个例子和kafka基本命令如下: 生产者push数据:
消费者查看数据:
kafka在zookeeper上的目录结构:
kafka的基本命令介绍:
Java代码
参考文章: 官网文档: http://kafka.apache.org/documentation.html#quickstart kafka实战例子1 http://www.mrhaoting.com/?p=152 kafka实战例子2 http://www.lujinhong.com/kafka集群操作指南.html kafka深度解析 http://www.jasongj.com/2015/01/02/Kafka深度解析/ kafka参数详解 http://debugo.com/kafka-params/ 官网参数详解 https://kafka.apache.org/08/configuration.html