ZooKeeper应用：kafka

简单说明

kafka作为一个优秀的消息中间件，一个数据buffer的管道。除了它的高性能外，高课扩展性，也决定了它的优势。 可以在不需要下线的情况下进行扩容 这里只是简单说明， 暂时没能力深入

简单配置

• 下载，hosts等略
• server.properties的配置

broker.id=1（对应的id）
log.dirs=日志路径
num.partitions=1（分区暂时设置为1，理解和hdfs的replication差不多）
zookeeper.connect=kafka01:2181,kafka02:2181,kafka03:2181（对应的ZooKeeper）
advertised.host.name=kafka01 （本机名字）
advertised.port=9092（kafka默认端口号）
delete.topic.enable=true（删除主题，不配置的话，在删除topic的时候，不能删除）

• 上面简单添加了说明
• 我们可以在ZooKeeper中去查看对应的信息，大体入下图（不好显示，网上找的图）

kafka在ZooKeeper中的存储结构

• 对应的brokers，以及下面的topics会存储在里面
• 对应的consumers也会存储
• 包括 admin下面的 delete_topic
• 如果是单机，只会有一个ids，是集群，对应每个ids都会存储
  • 单机（自己设置ids为0）

  

  单机下，ZooKeeper的/brokers/ids/下

  • 集群（自己设置集群的ids分别为1，2，3）

  

  集群中，ZooKeeper的/brokers/ids/下

kafka集群启动

kafka集群，可以在不需要下线的情况下进行扩容 这一点是很方便的 当然， 如果上面集群ids在ZooKeeper中注册一样 一个新的机器，启动后，对应的ids会在ZooKeeper中注册，这样集群就会得到对应的机器信息，从而加入集群，做后期的逻辑处理了，这样达到扩容的时候，不需要下线

• 简单启动
  • 将要加入集群的集群配置好，在用命令启动

sh kafka-server-start.sh ../config/server.properties

• 注意：对应的ZooKeeper集群配置要一样， ids要不同，以免出现不正常的情况

结束语

自己只是简单的自我理解， 具体ZooKeeper在kafka内部肯定很复杂，没有看过源码，没有发言权，等有时间看源码后，再考虑写一写理解。 kafka可以通过sparkStreaming将内容落地到hdfs中 spark是个好东西，scala是个好东西，熟悉程度需要更多代码量