Logstash+Kafka+ZK集群整合

环境说明:

Logstash部署在本地Windows环境:10.168.92.3,版本2.4.1
Kafka集群部署在虚拟服务器:
10.168.92.111,
10.168.92.112,
10.168.92.113,
ZK集群同上三台虚拟服务器

各个集群节点之间,时间要同步NTP时间服务器, 简单点:sudo date -s "2018-05-01 17:47:00"发往全部节点

启动所有ZK

$ZK_HOME/bin/zkServer.sh start

查看所有ZK的状态

可以看出谁是Follower,谁是Leader $ZK_HOME/bin/zkServer.sh status

启动所有Kafa

$KAFKA_HOME/bin/kafka-server-start.sh  $KAFKA_HOME/config/server.properties > /dev/null 2>&1 &

安装配置Logstash

Logstash解压即可,在根目录下新建conf文件夹,在此文件夹下新建配置文件 file-to-kafka.txt

input {
  file {
    codec => plain {
      charset => "GB2312"
    }
    path => "D:/BaiduNetdiskDownload/server-log/BaseDir/*/*.txt"
    discover_interval => 5
    start_position => "beginning"
  }
}

output {
    kafka {
      topic_id => "gamelog"
      codec => plain {
        format => "%{message}"
        charset => "GB2312"
      }
          //kafka集群的broker-list
      bootstrap_servers => "kafka-01:9092,kafka-02:9092,kafka-03:9092"
    }
}

启动Logstash

$LOGSTASH_HOME\bin\logstash -f ..\conf\file-to-kafka.txt

C:\Users\dummy\Downloads\logstash-2.4.1\bin>.\logstash -f ..\conf\file-to-kafka.txt
Settings: Default pipeline workers: 8
Pipeline main started

jps下64504 org/jruby/Main就是Logstash的进程

C:\Program Files\Java\jdk1.7.0_80\bin>jps -l
74916 sun.tools.jps.Jps
62732 org.jetbrains.jps.cmdline.Launcher
31256
59612
64504 org/jruby/Main

在Kafaka集群上任意一个节点启动消费者

即可经过Logstash拉取文件到Kafka

kafka-console-consumer.sh --zookeeper zk-01:2181,zk-02:2181,zk-03:2181 --topic gamelog --from-beginning

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏我的博客

本地配置wamp具有多个根目录

今天闲着没事,自己前些日子想把本地的wamp配置成两个根目录。于是就摸索自己配置玩玩。 配置测试环境:wamp2.0 1. 首先将Windows/system3...

2926
来自专栏十月梦想

phpstudy配置多端口虚拟主机

找到phpstudy安装目录进入apache文件夹下的conf文件夹打开vhost.conf,新增一下配置

1924
来自专栏zhisheng

ELK 实时日志分析平台环境搭建

简单介绍 ELK(ElasticSearch, Logstash, Kibana),三者组合在一起搭建实时的日志分析平台,目前好多公司都是这套! Elastic...

31411
来自专栏张善友的专栏

在 Windows 上安装Rabbit MQ 指南

rabbitMQ是一个在AMQP协议标准基础上完整的,可服用的企业消息系统。他遵循Mozilla Public License开源协议。采用 Erlang 实现...

2239
来自专栏小狼的世界

Filebeat+Logstash+ElasticSearch+Kibana搭建Apache访问日志解析平台

对于ELK还不太熟悉的同学可以参考我前面的两篇文章ElasticSearch + Logstash + Kibana 搭建笔记、Log stash学习笔记(一)...

1451
来自专栏草根专栏

使用Identity Server 4建立Authorization Server (1)

本文内容基本完全来自于Identity Server 4官方文档: https://identityserver4.readthedocs.io/ 官方文档很详...

52510
来自专栏魏艾斯博客www.vpsss.net

如何创建.htaccess 文件

关于.htaccess 文件,一般用于虚拟主机中,使用 VPS 建站的可以忽略了。对于使用虚拟主机建站的朋友来说.htaccess 文件可以用作伪静态化设置和 ...

4668
来自专栏coding

win10下配置linux子系统

2017
来自专栏运维小白

11.19/11.20 域名跳转

域名跳转概要目录 需求,把123.com域名跳转到www.123.com,配置如下: <VirtualHost *:80> DocumentRoot "...

3779
来自专栏区块链入门

Postman接口测试神器从安装到精通

Postman 是一个接口测试和 http 请求的神器,非常好用。 官方 github 地址: https://github.com/postmanlabs

7964

扫码关注云+社区

领取腾讯云代金券