Logstash+Kafka+ZK集群整合

环境说明:

Logstash部署在本地Windows环境:10.168.92.3,版本2.4.1
Kafka集群部署在虚拟服务器:
10.168.92.111,
10.168.92.112,
10.168.92.113,
ZK集群同上三台虚拟服务器

各个集群节点之间,时间要同步NTP时间服务器, 简单点:sudo date -s "2018-05-01 17:47:00"发往全部节点

启动所有ZK

$ZK_HOME/bin/zkServer.sh start

查看所有ZK的状态

可以看出谁是Follower,谁是Leader $ZK_HOME/bin/zkServer.sh status

启动所有Kafa

$KAFKA_HOME/bin/kafka-server-start.sh  $KAFKA_HOME/config/server.properties > /dev/null 2>&1 &

安装配置Logstash

Logstash解压即可,在根目录下新建conf文件夹,在此文件夹下新建配置文件 file-to-kafka.txt

input {
  file {
    codec => plain {
      charset => "GB2312"
    }
    path => "D:/BaiduNetdiskDownload/server-log/BaseDir/*/*.txt"
    discover_interval => 5
    start_position => "beginning"
  }
}

output {
    kafka {
      topic_id => "gamelog"
      codec => plain {
        format => "%{message}"
        charset => "GB2312"
      }
          //kafka集群的broker-list
      bootstrap_servers => "kafka-01:9092,kafka-02:9092,kafka-03:9092"
    }
}

启动Logstash

$LOGSTASH_HOME\bin\logstash -f ..\conf\file-to-kafka.txt

C:\Users\dummy\Downloads\logstash-2.4.1\bin>.\logstash -f ..\conf\file-to-kafka.txt
Settings: Default pipeline workers: 8
Pipeline main started

jps下64504 org/jruby/Main就是Logstash的进程

C:\Program Files\Java\jdk1.7.0_80\bin>jps -l
74916 sun.tools.jps.Jps
62732 org.jetbrains.jps.cmdline.Launcher
31256
59612
64504 org/jruby/Main

在Kafaka集群上任意一个节点启动消费者

即可经过Logstash拉取文件到Kafka

kafka-console-consumer.sh --zookeeper zk-01:2181,zk-02:2181,zk-03:2181 --topic gamelog --from-beginning

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏小狼的世界

Filebeat+Logstash+ElasticSearch+Kibana搭建Apache访问日志解析平台

对于ELK还不太熟悉的同学可以参考我前面的两篇文章ElasticSearch + Logstash + Kibana 搭建笔记、Log stash学习笔记(一)...

1051
来自专栏互联网杂技

SpringBoot ( 十二 ) :SpringBoot 如何测试打包部署

有很多网友会时不时的问我,spring boot项目如何测试,如何部署,在生产中有什么好的部署方案吗?这篇文章就来介绍一下spring boot 如何开发、调试...

742
来自专栏coding

win10下配置linux子系统

1487
来自专栏CaiRui

LAMP=Linux+Apache+Mysql+Php

一、当前互联网主流web服务 静态服务: 1.apache---中小型静态web服务的主流,web服务器中的老大哥 2.nginx---大型新型网络静态web服...

22610
来自专栏十月梦想

phpstudy配置多端口虚拟主机

找到phpstudy安装目录进入apache文件夹下的conf文件夹打开vhost.conf,新增一下配置

1164
来自专栏我的博客

本地配置wamp具有多个根目录

今天闲着没事,自己前些日子想把本地的wamp配置成两个根目录。于是就摸索自己配置玩玩。 配置测试环境:wamp2.0 1. 首先将Windows/system3...

2736
来自专栏NetCore

Identity Service - 解析微软微服务架构eShopOnContainers(二)

接上一篇,众所周知一个网站的用户登录是非常重要,一站式的登录(SSO)也成了大家讨论的热点。微软在这个Demo中,把登录单独拉了出来,形成了一个Service,...

2285
来自专栏zhisheng

ELK 实时日志分析平台环境搭建

简单介绍 ELK(ElasticSearch, Logstash, Kibana),三者组合在一起搭建实时的日志分析平台,目前好多公司都是这套! Elastic...

28511
来自专栏运维小白

Linux基础(day42)

11.14/11.15 Apache和PHP结合 配置httpd支持php目录概要 httpd主配置文件/usr/local/apache2.4/conf/ht...

1877
来自专栏Porschev[钟慰]的专栏

Windows Server 2008 R2 配置Exchange 2010邮件服务器并使用EWS发送邮件

配置环境 配置环境完全在此前一篇文章搭建好的环境下进行配置: http://www.cnblogs.com/zhongweiv/archive/201...

3488

扫码关注云+社区