【全文检索_11】Logstash 基本使用

1.1 基本介绍

1.1.1 工作原理

  Logstash 是由 JRuby 编写的，使用基于消息的简单架构，在 JVM 上运行(本篇博客主要介绍 Logstash 基本使用，介绍请见 ☞【全文检索_09】Logstash 基本介绍)。Logstash 的事件处理流水线有三个主要角色完成：inputs → filters → outputs。必须定义这些过程的配置才能使用 Logstash，尽管不是每一个都必须的。在过滤器的部分，它可以对数据源的数据进行分析，丰富，处理等等，但是我们可以不使用过滤器。在输出的部分，我们可以有多于一个以上的输出。

1.1.2 各组件可用插件

1.1.3 启动参数

1.2 inputs

1.2.1 File 监听插件

☞ 概述

  文件监听插件主要用来抓取文件的变化信息，将变化信息封装成 event 进程处理或者传递。这里介绍几个 File 插件的参数以及简单示例，详细内容见

☞ 官方文档

☞ 常用参数

除上述特有参数以外，还有诸多类似于下表的公共参数，所有插件中均可使用公共参数。详见 ☞ 官方文档

☞ 示例

input
  file {
    path => ["/var/log/*.log", "/var/log/message"]
    start_position => "beginning"
  }
}

1.2.2 Beats 监听插件

☞ 概述

  Beats插件用于建立监听服务，该输入插件使 Logstash 接收 Filebeat 或者其他 beat 发送的事件。这里介绍几个 Beats 插件的参数以及简单示例，详细内容见

☞ 官方文档

☞ 常用参数

☞ 示例

input {
  beats {
    port => 5044
  }
}

1.2.3 TCP 监听插件

☞ 概述

  TCP 插件通过 TCP Socket 读取事件，像标准输入和文件输入一样，每个事件都假定为一行文本。根据模式，可以接受来自 Client 的连接，也可以连接到 Server。这里介绍几个 TCP 插件的参数以及简单示例，详细内容见

☞ 官方文档

☞ 常用参数

☞ 示例

input {
  tcp {
    port => 12345
    codec => json
  }
}

1.2.4 Redis 监听插件

☞ 概述

  Redis 插件将从 Redis 实例读取事件；Redis v1.3.1+ 支持 Logstash 使用的 list 命令，而Redis v1.3.8+ 支持 Logstash 使用的 channel 命令。虽然可以使这些低版本 Redis 正常工作，但在较新的稳定版本中将获得最佳性能和稳定性。建议使用 2.6.0+ 版本。 详见 ☞ 官方文档

☞ 常用参数

☞ 示例

input {
	redis {
		data_type => "list"
		key => "logstash-test-list"
		host => "127.0.0.1"
		port => 6379
	}
}

1.2.5 Syslog 监听插件

☞ 概述

  Syslog 插件将 syslog 消息作为事件通过网络读取。当然，syslog 是一个非常混乱的名词。默认情况下，此输入仅支持 RFC3164 syslog，如果提供了功能性的 grok_pattern，则可以读取和解析一些非标准的 syslog 格式。详见 ☞ 官方文档

☞ 常用参数

☞ 示例

input {
  syslog {
    port => 12345
    codec => cef
    syslog_field => "syslog"
    grok_pattern => "<%{POSINT:priority}>%{SYSLOGTIMESTAMP:timestamp} CUSTOM GROK HERE"
  }
}

1.3 outputs

1.3.1 ElasticSearch 输出插件

☞ 概述

  如果打算使用 Kibana Web 界面来分析 Logstash 转换的数据，请使用 Elasticsearch 输出插件将数据导入 Elasticsearch。此输出仅说明 HTTP 协议，因为它是与 Elasticsearch 进行交互的首选协议。在以前的版本中，可以 transport 协议与 Elasticsearch 通信，该协议现在保留用于节点之间的内部集群通信。 Elasticsearch V7.0.0 中已弃用使用传输协议与集群进行通信，而在 V8.0.0中已将其删除。详见 ☞ 官方文档

☞ 常用参数

☞ 示例

output {
    elasticsearch {
        hosts => ["127.0.0.1:9200"]
        index => "filebeat-%{type}-%{+yyyy.MM.dd}"
        template_overwrite => true
    }
}

1.3.2 Redis 输出插件

☞ 概述

  用于将事件写入 Redis 中进行缓存，通常情况下 Logstash 的 Filter 处理比较吃系统资源，复杂的 Filter 处理会非常耗时，如果事件产生速度比较快，可以使用 Redis 作为 buffer 使用。详见 ☞ 官方文档

☞ 常用参数

☞ 示例

output {
    redis {
        host => "127.0.0.1"
        port => 6379
        data_type => "list"
        key => "logstash-list"
    }
}

1.3.3 File 输出插件

☞ 概述

  File 插件将事件写入磁盘上的文件，默认情况下，以 json 格式每行写入一个事件。可以使用行编解码器自定义行格式。详见 ☞ 官方文档

☞ 常用参数

☞ 示例

output {
    file {
        path => "./test-%{+YYYY-MM-dd}.txt"
    }
}

1.4 filters

1.4.1 grok 正则捕获

☞ 概述

  Grok 是将非结构化日志数据解析为结构化和可查询内容的好方法。该工具非常适合 syslog 日志， apache 和其他 Web 服务器日志，mysql 日志，以及通常用于人类而非计算机使用的任何日志格式。详见 官网文档

☞ 示例

filter {
 grok {
    match => {
      "message" => "Duration: %{NUMBER:duration}"
    }
  }
}

1.4.2 date 时间处理插件

☞ 概述

  date 时间处理插件用于解析字段中的日期，然后使用该日期或时间戳作为事件的 logstash 时间戳。详见 官网文档

☞ 示例

filter {
      date {
        match => [ "logdate", "MMM dd yyyy HH:mm:ss" ]
      }
    }

1.4.3 mutate 数据修改插件

☞ 概述

  mutate 数据修改插件提供了丰富的基础类型数据处理能力。可对字段执行常规变异，即重命名，删除，替换和修改事件中的字段。详见 官网文档

☞ 示例

filter {
    mutate {
        split => ["hostname", "."]
        add_field => { "shortHostname" => "%{hostname[0]}" }
    }

    mutate {
        rename => ["shortHostname", "hostname" ]
    }
}

1.4.4 JSON 格式解码插件

☞ 概述

  这是一个 JSON 解析过滤器。它采用一个包含 JSON 的现有字段，并将其扩展为 Logstash 事件内的实际数据结构。默认情况下，它将解析的 JSON 放在 Logstash 事件的根中，但是可以使用目标配置将此过滤器配置为将 JSON 放入任何任意事件字段中。详见 官网文档

☞ 示例

filter {
  json {
    source => "message"
    target => "doc"
  }
}

1.5 codecs

1.5.1 plain 插件

☞ 概述

  plain 插件用于纯文本，事件之间没有定界。这主要用于已在其传输协议中定义了帧的输入​​和输出。详见 官网文档

☞ 示例

output {
  # 输出到控制台
  stdout { 
    codec => plain
  }
}

1.5.2 rubydebug 插件

☞ 概述

  rubydebug 编解码器将使用 Ruby Amazing Print 库输出 Logstash 事件数据。详见 官网文档

☞ 示例

output {
  # 输出到控制台
  stdout { 
    codec => rubydebug 
  }
}