Kafka、Logstash、Zookeeper实现数据采集系统

一、环境要求

JDK: 1.8

Kafka: kafka_2.11-2.1.0

Logstash: logstash-6.5.4

Zookeeper: zookeeper-3.4.12

系统:CentOS Linux release 7.4.1708 (Core)

二、Zookeeper安装

出门左转,看之前写的[zookeeper集群管理solrCloud],里边有详细的Zookeeper安装说明

三、Kafka安装1、Kafka简介

2、下载

3、单个broker安装

说明:单个broker、多个broker这里不贴演示效果,放在多broker与logstash结合时演示

3.1解压到某个指定目录即可

3.2 Kafka自带有Zookeeper,启动zookeeper服务

3.3启动Kafka服务

3.4创建一个topic

3.4.1参数说明

--create表示创建

--zookeeper表示zookeeper

--replication-factor表示用几个备份

--partitions表示几个分区

--topic表示什么主题

3.5发送消息

3.5.1参数说明

--broker-list表示有哪些节点,多个可以用逗号隔开

3.6开启一个consumer接收消息

3.6.1参数说明

--bootstrap-server用哪台机器的服务

--from-beginning表示是否从头开始消费,不从头消费,不用有此参数

4、多个broker与zookeeper集群结合

4.1启动zookeeper集群

4.2配置多broker

4.3修改server-*.properties文件

4.4启动kafka的多个broker

4.5创建topic

4.6查看kafka集群状态

4.7生产消息

4.8消费消息

4.9容错测试

四、elastic的logstash安装

1、logstash简介

2、下载

3、解压

4、使用

4.1 logstash分别用配置文件来实现输入与输出,跟flume差不多。来看一个代码中给的范例

4.2 logstash有许多种形式的输入与输出,参考官网

五、Kafka与Logstash结合

1、启动zookeeper集群2、启动kafka集群3、配置logstash配置

3.1、表示监控一个文件的变化输出到到kafka

3.2、创建logstash.txt文件

3.3、参考链接

4、测试

4.1、启动logstash

4.2、创建topic

4.3、启动kafka的consumer

4.2、修改logstash.txt文件

4.3、在kafka的consumer端可以看到

4.4、继续修改logstash.txt

4.5、consumer端

其实一直想与你交流,但你却在很远的地方,如果你有时间经过这里,不妨再花几秒,让我们相识!

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20190110G03ZQK00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券