专栏首页大数据-Hadoop、SparkElasticsearch+Kafka整合

Elasticsearch+Kafka整合

https://www.jianshu.com/writer#/notebooks/24576109/notes/27382605

接着前一篇文章, 同步节点时间,启动ZK,KAFKA自不必说

1.Kafka-ES的配置文件, kafka-es.conf

input {
  kafka {
    type => "level-one"
    auto_offset_reset => "smallest"
    codec => plain {
      charset => "GB2312"
    }
    group_id => "es"
    topic_id => "gamelog" //消息topic
    zk_connect => "zk-01:2181,zk-02:2181,zk-03:2181"
  }
}

filter {
  mutate {
    split => { "message" => "   " }
      add_field => {
        "event_type" => "%{message[3]}"
        "current_map" => "%{message[4]}"
        "current_X" => "%{message[5]}"
        "current_y" => "%{message[6]}"
        "user" => "%{message[7]}"
        "item" => "%{message[8]}"
        "item_id" => "%{message[9]}"
        "current_time" => "%{message[12]}"
     }
     remove_field => [ "message" ]
  } 
}

output {
    elasticsearch {
      index => "level-one-%{+YYYY.MM.dd}"
      codec => plain {
        charset => "utf-16be"//中文乱码问题
      }
      //ES的地址和端口
      hosts => ["elk-01:9200", "elk-02:9200", "elk-03:9200"]
    } 
}

2.在Logstash服务器上启动服务:

C:\Users\dummy\Downloads\logstash-2.4.1\bin>.\logstash -f ..\conf\kafka-es.conf
Settings: Default pipeline workers: 8
Pipeline main started

3.ES离线安装head插件,进入ES安装目录 $ELK_HOME/bin/plugin install file:///home/username/software/elasticsearch-head-master.zip 4.访问head页面,即可查看拉取到ES的经过清洗过的日志信息

image.png

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • HBase基准测试

    su hdfs ./hbase org.apache.hadoop.hbase.PerformanceEvaluation sequentialWrite 1

    sparkle123
  • Logstash+Kafka+ZK集群整合

    sparkle123
  • 2.2、宽依赖与窄依赖深度剖析

    sparkle123
  • hbase数据原理及基本架构

    hbase是apache hadoop生态系统中的重要一员,主要用于海量结构化数据存储

    用户1217611
  • RabbitMq的代码使用案例

               channel.basicQos(prefetchCount);//最多为当前接收方发送一条消息。如果接收方还未处理完毕消息,还没有回发确...

    小勇DW3
  • Architecture Pattern: Publish-subscribe Pattern

    1. Brief                               一直对Observer Pattern和Pub/Sub Pattern有所混淆,下...

    ^_^肥仔John
  • 多线程基础(四):volatile和可见性问题及happens-before原则

    有两个线程,一个线程写入,另外一个线程读取,那么写入线程的结果,每次都能被读取线程读到吗?我们执行上述代码:

    冬天里的懒猫
  • 奥比中光Orbbec Astra Pro RGBD 3D视觉传感器在ROS(indigo和kinetic)使用说明 rgb depth同时显示

    Orbbec Astra Pro传感器在ROS(indigo和kinetic)使用说明 rgb depth同时显示

    zhangrelay
  • 面试头条:HBASE 存储设计

    5、Hbase的表在物理存储上,是按照列族来分割的,不同列族的数据一定存储在不同的文件中

    木野归郎
  • VSCode使用eclipse快捷键

    按住ctrl+shift+x按钮,打开安装插件界面输入:eclipse keymap.

    李小白是一只喵

扫码关注云+社区

领取腾讯云代金券