Kakfa集群搭建

先来整体熟悉下Kafka的一些概念和架构 （一）什么是Kafka？ Kafka是由LinkedIn开发并开源的一个分布式消息系统，因其分布式和高吞吐率被广泛应用，现在已经在Hadoop和Spark等大数据的生态系统中成为一个必不可少的生态组件，可与各种计算模型，如离线计算，实时计算，流计算对接数据。 （二）为什么要用Kafka？ 1，以时间复杂度O（1）的方式提供消息持久化和访问能力，即使应对TB级数据也能保证常数时间内的的访问和存储。 2，高吞吐率，在普通PC上也能保证每秒10万左右的消息传输能力 3，支持消息分区存储，并保证分区内消息的时序性，可支持分布式消费 4，能对接多种计算模型 5，支持副本，容错，水平扩容等特性。 （三）Kafka的名词解释 1，Broker ： 一个单独的kafka机器节点就称为一个broker，多个broker组成的集群，称为kafka集群 2，Topic ：类似数据库中的一个表，我们将数据存储在Topic里面，当然这只是逻辑上的，在物理上，一个Topic 可能被多个Broker分区存储，这对用户是透明的，用户只需关注消息的产生于消费即可 3，Partition：类似分区表，每个Topic可根据设置将数据存储在多个整体有序的Partition中，每个顺序化partition会生成2个文件，一个是index文件一个是log文件，index文件存储索引和偏移量，log文件存储具体的数据 4，Producer：生产者，向Topic里面发送消息的角色 5，Consumer：消费者，从Topic里面读取消息的角色 6，Consumer Group：每个Consumer属于一个特定的消费者组，可为Consumer指定group name，如果不指定默认属于group （四）Kafka的拓扑架构

（五）Kafka的安装 三台机器+外置Zookeeper集群： 192.168.1.1 kakfa1 zk1 192.168.1.2 kakfa2 zk2 192.168.1.3 kakfa3 zk3 关于zookeeper集群的安装，请参考博客：http://qindongliang.iteye.com/blog/1985145 （1） 下载kafka0.9.0.0 wget http://archive.apache.org/dist/kafka/0.9.0.0/kafka_2.11-0.9.0.0.tgz （2）解压到某个目录 tar -zxvf kafka/0.9.0.0/kafka_2.11-0.9.0.0.tgz （3）配置config/server.properties 三个重要配置：

Java代码

1. broker.id=0/1/2 三台机器配置不能重复
2. log.dirs=/var/kafka_data 默认是在/tmp/kafka_logs下，目录会自动创建
3. zookeeper.connect=zk1:2181,zk2:2181,zk3:2181/kafka ，默认kafka的文件会散落在zookeeper的根目录下
4. 如果zookeeper上还有其他的文件如hbase，solr那就非常混乱，建议在连接后面加上/kafka这样就会以kafka为根目录

（4）一个例子和kafka基本命令如下： 生产者push数据：

消费者查看数据：

kafka在zookeeper上的目录结构：

kafka的基本命令介绍：

Java代码

1. //启动一个kakfa-server：
2. nohup bin/kafka-server-start.sh config/server.properties &
3. //创建一个topic
4. bin/kafka-topics.sh --create --zookeeper localhost:2181/kafka --replication-factor 1 --partitions 3 --topic logstash
5. //命令行发送数据到topic的logstash里面
6. bin/kafka-console-producer.sh --broker-list localhost:9092 --topic logstash
7. //查看kafka中的某个topic里面的数据：
8. bin/kafka-console-consumer.sh --zookeeper localhost:2181/kafka --from-beginning --topic logstash
9. //查看所有的topic列表
10. bin/kafka-topics.sh --list --zookeeper localhost:2181/kafka
11. //查看topic的详细信息
12. bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic

参考文章： 官网文档： http://kafka.apache.org/documentation.html#quickstart kafka实战例子1 http://www.mrhaoting.com/?p=152 kafka实战例子2 http://www.lujinhong.com/kafka集群操作指南.html kafka深度解析 http://www.jasongj.com/2015/01/02/Kafka深度解析/ kafka参数详解 http://debugo.com/kafka-params/ 官网参数详解 https://kafka.apache.org/08/configuration.html