Elasticsearch+Kafka整合

https://www.jianshu.com/writer#/notebooks/24576109/notes/27382605

接着前一篇文章, 同步节点时间,启动ZK,KAFKA自不必说

1.Kafka-ES的配置文件, kafka-es.conf

input {
  kafka {
    type => "level-one"
    auto_offset_reset => "smallest"
    codec => plain {
      charset => "GB2312"
    }
    group_id => "es"
    topic_id => "gamelog" //消息topic
    zk_connect => "zk-01:2181,zk-02:2181,zk-03:2181"
  }
}

filter {
  mutate {
    split => { "message" => "   " }
      add_field => {
        "event_type" => "%{message[3]}"
        "current_map" => "%{message[4]}"
        "current_X" => "%{message[5]}"
        "current_y" => "%{message[6]}"
        "user" => "%{message[7]}"
        "item" => "%{message[8]}"
        "item_id" => "%{message[9]}"
        "current_time" => "%{message[12]}"
     }
     remove_field => [ "message" ]
  } 
}

output {
    elasticsearch {
      index => "level-one-%{+YYYY.MM.dd}"
      codec => plain {
        charset => "utf-16be"//中文乱码问题
      }
      //ES的地址和端口
      hosts => ["elk-01:9200", "elk-02:9200", "elk-03:9200"]
    } 
}

2.在Logstash服务器上启动服务:

C:\Users\dummy\Downloads\logstash-2.4.1\bin>.\logstash -f ..\conf\kafka-es.conf
Settings: Default pipeline workers: 8
Pipeline main started

3.ES离线安装head插件,进入ES安装目录 $ELK_HOME/bin/plugin install file:///home/username/software/elasticsearch-head-master.zip 4.访问head页面,即可查看拉取到ES的经过清洗过的日志信息

image.png

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏CSDN技术头条

互联网厂工必知必会:SQL基础篇

来源 | 《SQL 基础教程》 PostgreSQL 的安装和连接设置 那么就让我们赶快按照下面的步骤来安装 PostgreSQL 吧。 01 安装步骤 ①...

3444
来自专栏野路子程序员

【Laravel5】Auth组件重写密码认证方式为MD5加密

3896
来自专栏小文博客

Vultr忘记密码找回及重置方式

今天有朋友向我求助,说是vultr服务器密码忘记了。博主到处搜罗,找到一下几种方法。不仅是vultr,其他服务器也适用

56111
来自专栏linux运维学习

linux学习第四十一篇:配置防盗链,访问控制Directory,访问控制FilesMatch

配置防盗链 防盗链,就是不让别人盗用你网站上的资源,这个资源,通常指的是图片,视频,歌曲,文档等。不是我们认识的referer一概不许访问。 防盗链的...

2116
来自专栏小文博客

Vultr忘记密码找回及重置方式

2785
来自专栏加米谷大数据

Kafka日志设置和清除策略

config/log4j.properties中日志的级别设置的是TRACE,在长时间运行过程中产生的日志大小吓人,所以如果没有特殊需求,强烈建议将其更改成IN...

1262
来自专栏极客猴

Django 实战2:利用 Session 实现自动登录机制

上篇文章中讲到 Django 如何启动以及配置 sessions 功能。sessions 功能用是跟踪用户的状态,经常结合 Cookie 功能实现自动登录功能。...

1103
来自专栏pangguoming

CentOS7安装openjdk、tomcat和mysql流程介绍

首先是前戏,推荐一个远程工具Xshell和Xftp搭配使用,以下是Xshell的官网  http://www.netsarang.com/products/xs...

3588
来自专栏醉生梦死

二进制安装MySQL5.6.38 原

/application/mysql/bin/mysql  这是启动mysql的命令,简化该命令

432
来自专栏上善若水

s001android逆向安全初级篇之apk逆向常用工具及简单使用一览

关于apk 逆向中的一些工具的使用,看了不少文章,也使用过有很长一段时间了,今天对此做一总结:

953

扫码关注云+社区