如果没有物理机，也可以弄3台虚拟机。ubuntu系统不会安装的话可以自己百度哦，这里就不细说了。
最近在 OpenStack 环境下需要部署消息队列集群，包括 RabbitMQ 和 Kafka，这篇记述一下 Kafka 集群的部署过程。
1、在上面的说明中动态传参namespace，意思是命名空间 使用动态传参指定前缀，指定前缀测试说明在第2点之后 使用前缀可以将属于个性化定制，自动创建topic时用于区别其他topic名称，这里是为了建立实时数仓，需要以数仓分层标识
当前结构，Filebeat部署在需要收集日志的机器上，收集日志，输出到zk+kakfa集群这个中间件中。logstash从kafka集群消费信息，并根据配置内容，进行格式转化和过滤，整理好的数据会发给elastic进行存储。elastic能对大容量的数据进行接近实时的存储、搜索和分析操作。最后由kibana提供web界面，调用elastic做数据分析，然后展示出来。
1.安装准备 jdk-8u162-linux-x64.tar zookeeper-3.4.12.tar.gz kafka_2.11-2.0.0 .tgz
通常使用Spark的流式框架如Spark Streaming，做无状态的流式计算是非常方便的，仅需处理每个批次时间间隔内的数据即可，不需要关注之前的数据，这是建立在业务需求对批次之间的数据没有联系的基础之上的。
早在传统的单体应用时代，查看日志大都通过SSH客户端登服务器去看，使用较多的命令就是 less 或者 tail。如果服务部署了好几台，就要分别登录到这几台机器上看，等到了分布式和微服务架构流行时代，一个从APP或H5发起的请求除了需要登陆服务器去排查日志，往往还会经过MQ和RPC调用远程到了别的主机继续处理，开发人员定位问题可能还需要根据TraceID或者业务唯一主键去跟踪服务的链路日志，基于传统SSH方式登陆主机查看日志的方式就像图中排查线路的工人一样困难，线上服务器几十上百之多，出了问题难以快速响应，因此需要高效、实时的日志存储和检索平台，ELK就提供这样一套解决方案。
本文只包含Kafka入门使用导学，后续会继续整理Kafka进阶知识与底层原理剖析。
1.1 Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。
引言 Kafka和zookeeper是在两种典型的有状态的集群服务。首先kafka和zookeeper都需要存储盘来保存有状态信息，其次kafka和zookeeper每一个实例都需要有对应的实例Id(
flume官方文档：http://flume.apache.org/documentation.html
Kafka 是目前最流行的分布式消息发布订阅系统，Kafka 功能非常强大，但它同样也很复杂，需要一个高可用的强大平台来运行，在微服务盛行，大多数公司都采用分布式计算的今天，将 Kafka 作为核心的消息系统使用还是非常有优势的。
问题导读 1.flume的配置你是如何理解的？ 2.flume与kafka整合，kafka可以做哪些组件？ 3.flume与kafka的区别是什么？ flume是比较常用的大数据技术，那么学习flume，我们还需要思考flume，这样理解才能在遇到问题的时候，更容易解决，使用起来更加的得心应手。下面介绍了flume的相关内容及个人的理解。 flume应用 一般来讲，我们接触flume可能更早一些。flume如何安装可参考 让你快速认识flume及安装和使用flume1.5传输数据(日志)到hadoop
一、概述 Apache ZooKeeper 是一个集中式服务，用于维护配置信息、命名、提供分布式同步和提供组服务，ZooKeeper 致力于开发和维护一个开源服务器，以实现高度可靠的分布式协调，其实也可以认为就是一个分布式数据库，只是结构比较特殊，是树状结构。官网文档：https://zookeeper.apache.org/doc/r3.8.0/ 📷 Kafka是最初由 Linkedin 公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于 zookeeper 协调的
本次演示环境使用metersphere版本：v1.13.0 设置k8s节点包括1台master和1台worker； 应用部署控制管理器使用deployment； 持久化存储使用hostPath写入到NFS挂载目录。 NFS挂载方式如下： 在master配置了nfs服务，并将nfs共享目录/nfs_storage挂在到了两个节点中的/opt/nfs; 如下图所示：
可以看到，zookeeper集群状态正常，zk-1 是 leader ，在 zk-0 创建的数据在集群中所有的服务上都是可用的。
