Elasticsearch+Kafka整合

https://www.jianshu.com/writer#/notebooks/24576109/notes/27382605

接着前一篇文章, 同步节点时间,启动ZK,KAFKA自不必说

1.Kafka-ES的配置文件, kafka-es.conf

input {
  kafka {
    type => "level-one"
    auto_offset_reset => "smallest"
    codec => plain {
      charset => "GB2312"
    }
    group_id => "es"
    topic_id => "gamelog" //消息topic
    zk_connect => "zk-01:2181,zk-02:2181,zk-03:2181"
  }
}

filter {
  mutate {
    split => { "message" => "   " }
      add_field => {
        "event_type" => "%{message[3]}"
        "current_map" => "%{message[4]}"
        "current_X" => "%{message[5]}"
        "current_y" => "%{message[6]}"
        "user" => "%{message[7]}"
        "item" => "%{message[8]}"
        "item_id" => "%{message[9]}"
        "current_time" => "%{message[12]}"
     }
     remove_field => [ "message" ]
  } 
}

output {
    elasticsearch {
      index => "level-one-%{+YYYY.MM.dd}"
      codec => plain {
        charset => "utf-16be"//中文乱码问题
      }
      //ES的地址和端口
      hosts => ["elk-01:9200", "elk-02:9200", "elk-03:9200"]
    } 
}

2.在Logstash服务器上启动服务:

C:\Users\dummy\Downloads\logstash-2.4.1\bin>.\logstash -f ..\conf\kafka-es.conf
Settings: Default pipeline workers: 8
Pipeline main started

3.ES离线安装head插件,进入ES安装目录 $ELK_HOME/bin/plugin install file:///home/username/software/elasticsearch-head-master.zip 4.访问head页面,即可查看拉取到ES的经过清洗过的日志信息

image.png

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏java 成神之路

window 查找 java 进程中占用cpu比较高的线程

3539
来自专栏陈树义

1.Redis 的安装

一、Redis 介绍 Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库,并提供多种语言的API。...

2879
来自专栏Java架构沉思录

一文读懂分布式Session常见解决方案

前言 沉思君在之前的文章《谈谈HTTP状态保持》里介绍了有关HTTP状态保持的知识点,我们知道HTTP协议本身是无状态的,因此在使用HTTP协议进行通信的过程中...

2648
来自专栏测试开发架构之路

redis集群部署那点事Redis报错:WRONGTYPE Operation against a key holding the wrong kind of value 解决处理

 参考:https://blog.csdn.net/wzygis/article/details/51705559

913
来自专栏Hongten

python开发_python文件操作

官方API:os-Miscellaneous operating system interfaces

902
来自专栏北京马哥教育

一周文章推送:

文章名称:nginx + php-fpm fastcgi防止跨站、跨目录的安全设置 我们知道apache php mod的方式可以很方便的配置 open_bas...

2917
来自专栏学习有记

使用 pyinstaller 打包 py 文件成 exe 程序

994
来自专栏difcareer的技术笔记

为Android编译openssl类库

本文参考了后面的参考文章对openssl进行编译,基本没有遇到什么问题,但是在使用使用编译的openssl时,遇到如下错误:

602
来自专栏用户2442861的专栏

vi/vim编辑器必知必会

Linux的命令行界面下面有非常多的文本编辑器。比如经常听说的就有Emacs、pico、nano、joe与vim等。vim可以看做是vi的高级版。我们为什么一...

420
来自专栏Samego开发资源

Linux下关于动态库的说明 | 编译以及调用

1734

扫码关注云+社区