Kafka、Logstash、Zookeeper实现数据采集系统

一、环境要求

JDK: 1.8

Kafka: kafka_2.11-2.1.0

Logstash: logstash-6.5.4

Zookeeper: zookeeper-3.4.12

系统：CentOS Linux release 7.4.1708 (Core)

二、Zookeeper安装

出门左转，看之前写的[zookeeper集群管理solrCloud]，里边有详细的Zookeeper安装说明

三、Kafka安装1、Kafka简介

2、下载

3、单个broker安装

说明：单个broker、多个broker这里不贴演示效果，放在多broker与logstash结合时演示

3.1解压到某个指定目录即可

3.2 Kafka自带有Zookeeper，启动zookeeper服务

3.3启动Kafka服务

3.4创建一个topic

3.4.1参数说明

--create表示创建

--zookeeper表示zookeeper

--replication-factor表示用几个备份

--partitions表示几个分区

--topic表示什么主题

3.5发送消息

3.5.1参数说明

--broker-list表示有哪些节点，多个可以用逗号隔开

3.6开启一个consumer接收消息

3.6.1参数说明

--bootstrap-server用哪台机器的服务

--from-beginning表示是否从头开始消费，不从头消费，不用有此参数

4、多个broker与zookeeper集群结合

4.1启动zookeeper集群

4.2配置多broker

4.3修改server-*.properties文件

4.4启动kafka的多个broker

4.5创建topic

4.6查看kafka集群状态

4.7生产消息

4.8消费消息

4.9容错测试

四、elastic的logstash安装

1、logstash简介

2、下载

3、解压

4、使用

4.1 logstash分别用配置文件来实现输入与输出，跟flume差不多。来看一个代码中给的范例

4.2 logstash有许多种形式的输入与输出，参考官网

五、Kafka与Logstash结合

1、启动zookeeper集群2、启动kafka集群3、配置logstash配置

3.1、表示监控一个文件的变化输出到到kafka

3.2、创建logstash.txt文件

3.3、参考链接

4、测试

4.1、启动logstash

4.2、创建topic

4.3、启动kafka的consumer

4.2、修改logstash.txt文件

4.3、在kafka的consumer端可以看到

4.4、继续修改logstash.txt

4.5、consumer端

其实一直想与你交流，但你却在很远的地方，如果你有时间经过这里，不妨再花几秒，让我们相识！