使用Logstash创建ES映射模版并进行数据默认的动态映射规则

本文配置为 ELK 即(Elasticsearch、Logstash、Kibana)5.5.1。

Elasticsearch 能够自动检测字段的类型并进行映射,例如引号内的字段映射为 String,不带引号的映射为数字,日期格式的映射为日期等等,这个机制方便了我们快速上手 ELK,但是后期我们经常需要对一些特定的字段进行定制,之前本人有一篇文章进行这方面的尝试Logstash中如何处理到ElasticSearch的数据映射,但对于默认映射规则没有介绍,本文就来探讨一些默认的动态映射规则。

开始之前

先拿一个 logstash 的配置文件来看一下

output {
  elasticsearch {
    hosts => “localhost:9200"
    index => "my_index"
    template => "/data1/cloud/logstash-5.5.1/filebeat-template.json"
    template_name => "my_index"
    template_overwrite => true
  }
  stdout { codec => rubydebug }
}

再看一个ES模板配置文件

{
  "template" : "logstash*",
  "settings" : {
    "index.number_of_shards" : 5,
    "number_of_replicas" : 1,
    "index.refresh_interval" : "60s"
  },
  "mappings" : {
    "_default_" : {
       "_all" : {"enabled" : true},
       "dynamic_templates" : [ {
         "string_fields" : {
           "match" : "*",
           "match_mapping_type" : "string",
           "mapping" : {
             "type" : "string", "index" : "not_analyzed", "omit_norms" : true, "doc_values": true,
               "fields" : {
                 "raw" : {"type": "string", "index" : "not_analyzed", "ignore_above" : 256,"doc_values": true}
               }
           }
         }
       } ],
       "properties" : {
         "@version": { "type": "string", "index": "not_analyzed" },
         "geoip"  : {
           "type" : "object",
             "dynamic": true,
             "path": "full",
             "properties" : {
               "location" : { "type" : "geo_point" }
             }
         }
       }
    }
  }
}

这里关注几个属性indextemplate_name、以及模板文件中的 templateindex是索引的名称,我们经常会有诸如 index => "logstash-%{+YYYY.MM.dd}”这样的索引名称,可以按照日期来分割不同的索引。template_name对应的是模板名称,template这是比较关键的,因为决定了索引是否能够匹配到模板配置,这里应该与 index相匹配。比如固定的 index 名称,这里就可以是固定名称。对于按日期分隔的,可以使用通配符,例如logstash-*

我就是因为没搞明白这几个属性的对应关系,导致自己的配置没有生效查了很长时间。

参考资料 1、Logstash中配置默认索引映射(_default_属性) 2、关于动态Mapping和templates

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏xingoo, 一个梦想做发明家的程序员

Oracle使用小记

windows下Oracle必须要启动的服务 Oracle ORCL VSS Writer Service:Oracle卷映射拷贝写入服务,VSS(Volume...

21750
来自专栏程序员的SOD蜜

PDF.NET数据开发框架之集成开发工具Ver 4.1发布

PDF.NET数据开发框架 是一套轻量级的快速数据开发框架,它具有iBatis类似的SQL-MAP特性和Hibernate的ORM持久化特性,但不使用反射,整个...

25990
来自专栏Laoqi's Linux运维专列

配置zabbix架构

43270
来自专栏深度学习之tensorflow实战篇

WINDOW 安装mysql5.7数据库,并设置密码及相关报错

环境:系统:WINDOW10 数据库:mysql5.7 windows 10安装mysql5.7 第一步 到mysql官网下载mysql-5.7.17-...

29060
来自专栏我的小碗汤

linux上安装LAMP笔记

B哥最近在参加比赛,需要把一个php项目部署到服务器上,故此在linux上安装LAMP环境,用于部署项目,第一次安装,做点儿笔记记录一下。

25520
来自专栏Jed的技术阶梯

Linux中安装MySQL

17820
来自专栏公众号_薛勤的博客

CentOS 6.5下RPM方式(重新)安装MySQL 5.7.21从头到尾篇

ERROR 1290 (HY000): The MySQL server is running with the --skip-grant-tables ...

11120
来自专栏Linux运维学习之路

MySQL日志管理

MySQL日志管理 错误日志 配置方法: vim /etc/my.cnf [mysqld] log-error=/tmp/mysql.log 查看配置方式: s...

487120
来自专栏哲学驱动设计

Rafy 框架-发布网页版用户手册

前段时间把 Rafy 的用户手册由 CHM 格式转换为了网页格式,而且发布到了 github.io 上,即方便文档的实时更新,也方便大家查看。 Rafy 用户手...

22850
来自专栏史上最简单的Spring Cloud教程

Openresty最佳案例 | 第9篇:Openresty实现的网关权限控制

简介 采用openresty 开发出的api网关有很多,比如比较流行的kong、orange等。这些API 网关通过提供插件的形式,提供了非常多的功能。这些组件...

51460

扫码关注云+社区

领取腾讯云代金券