Logstash+Kafka+ZK集群整合

环境说明:

Logstash部署在本地Windows环境:10.168.92.3,版本2.4.1
Kafka集群部署在虚拟服务器:
10.168.92.111,
10.168.92.112,
10.168.92.113,
ZK集群同上三台虚拟服务器

各个集群节点之间,时间要同步NTP时间服务器, 简单点:sudo date -s "2018-05-01 17:47:00"发往全部节点

启动所有ZK

$ZK_HOME/bin/zkServer.sh start

查看所有ZK的状态

可以看出谁是Follower,谁是Leader $ZK_HOME/bin/zkServer.sh status

启动所有Kafa

$KAFKA_HOME/bin/kafka-server-start.sh  $KAFKA_HOME/config/server.properties > /dev/null 2>&1 &

安装配置Logstash

Logstash解压即可,在根目录下新建conf文件夹,在此文件夹下新建配置文件 file-to-kafka.txt

input {
  file {
    codec => plain {
      charset => "GB2312"
    }
    path => "D:/BaiduNetdiskDownload/server-log/BaseDir/*/*.txt"
    discover_interval => 5
    start_position => "beginning"
  }
}

output {
    kafka {
      topic_id => "gamelog"
      codec => plain {
        format => "%{message}"
        charset => "GB2312"
      }
          //kafka集群的broker-list
      bootstrap_servers => "kafka-01:9092,kafka-02:9092,kafka-03:9092"
    }
}

启动Logstash

$LOGSTASH_HOME\bin\logstash -f ..\conf\file-to-kafka.txt

C:\Users\dummy\Downloads\logstash-2.4.1\bin>.\logstash -f ..\conf\file-to-kafka.txt
Settings: Default pipeline workers: 8
Pipeline main started

jps下64504 org/jruby/Main就是Logstash的进程

C:\Program Files\Java\jdk1.7.0_80\bin>jps -l
74916 sun.tools.jps.Jps
62732 org.jetbrains.jps.cmdline.Launcher
31256
59612
64504 org/jruby/Main

在Kafaka集群上任意一个节点启动消费者

即可经过Logstash拉取文件到Kafka

kafka-console-consumer.sh --zookeeper zk-01:2181,zk-02:2181,zk-03:2181 --topic gamelog --from-beginning

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据-Hadoop、Spark

Logstash简单使用

Logstash-控制台输入输出 cd logstash-2.4.1 bin/logstash -e 'input { stdin { } } output ...

3329
来自专栏格子的个人博客

CentOS7下安装Mesos教程

Mesos是根据Linux内核相同原则而创建的,而不同点仅是在于抽象的层面。Mesos内核运行在每一个机器上,同时通过 API 为各种应用提供跨数据中心和云的资...

822
来自专栏网络

CobaltStrike团体服务器部署并后台运行

大家好,我是你们的老朋友Alex。Cobaltstrike的部署安装很简单,但是在实际使用中出现了问题。我把团队服务器放在ECS上,出现了两个问题:1.客户端无...

2016
来自专栏Petrichor的专栏

git:深挖 .git文件夹

1002
来自专栏用户2442861的专栏

QT对话框去掉帮助和关闭按钮 拦截QT关闭窗口的CloseEvent

建了一个对话框,我不想把边框去掉,只想去掉关闭按钮, setWindowFlags(windowFlags()&~Qt::WindowCloseButton...

942
来自专栏运维技术迷

HP DL380 G5服务器创建RAID

这台HP DL380 G5已经稳定运行了好几年的时间了,Data日渐增多,起初的Disk容量已经不能满足现在的需求,加上Disk已经运行了几万小时,读写能...

3286
来自专栏idba

MySQL 安装利器---Sandbox

一 sandbox是什么? MySQL Sandbox是一个非常简单快捷的安装搭建MySQL实例的工具,它可以非常快速地满足我们对MySQL环境各种需求:单机实...

1144
来自专栏一个会写诗的程序员的博客

Linux fuser 命令详解 常用选项fuser功能使用示例fuser不同信号的应用fuser -lfuser -v /root/install.logfuser -k -SIGHUP /root

linux环境下,当使用umount命令卸载挂载点时,会遇到“device is busy”提示,这时fuser就能查出谁在使用这个资源;当然umount –l...

1202
来自专栏运维小白

Linux基础(day15)

4.5/4.6 磁盘格式化 windows和Linux系统格式 在分区后,磁盘需要格式化 Windows中,有NTFS、fat格式,其中fat格式基本已经不用...

19710
来自专栏惨绿少年

Linux中常见问题(磁盘 定时任务)

第1章 linux无法上网 1) 第一步,先ping域名. ping www.baidu.com 2)再ping一个公网ip , ping 223.5.5.5...

1790

扫码关注云+社区