ELK学习笔记之logstash配置多入多出并互相隔离
ELK学习笔记之logstash配置多入多出并互相隔离
Jetpropelledsnake21
发布于 2019-05-19 14:54:48
发布于 2019-05-19 14:54:48
0x00 概述
需求：需要利用同一logstash进程采集不同日志，输出到es的不同index，各输入输出隔离；
主要需要解决如下两个问题：
0x01 如何加载多个配置文件
普通启动方式：
nohup bin/logstash -f config/logstash.conf &多配置文件启动方式：
nohup bin/logstash -f config/java-conf &注意：java-conf为目录，将加载该目录下所有配置文件；不要使用config/java-conf/*.conf
问题：配置不当，各输入输出会存在交叉，解决办法参考以下第二点。
0x02 如何隔离各输入输出
利用type，对输入输出进行筛选，配置参考：
log1.conf
input {
file {
type => "log1"
path => "/**/log1.log"
discover_interval => 10 # 监听间隔
start_position => "beginning" #从头开始
}
}
#输出到elasticsearch
output {
if [type] == "log1"{
elasticsearch {
index => "log1-%{+YYYY.MM.dd}"
hosts => "192.168.2.32:9200" #输出到elasticsearch 对应服务器
}
}
}
log2.conf
input {
file {
type => "log2"
path => "/**/log2.log"
discover_interval => 10 # 监听间隔
start_position => "beginning" #从头开始
}
}
#输出到elasticsearch
output {
if [type] == "log2"{
elasticsearch {
index => "log2-%{+YYYY.MM.dd}"
hosts => "192.168.2.32:9200" #输出到elasticsearch 对应服务器
}
}
}PS：index名不能包含大写字母。
本文参与 腾讯云自媒体分享计划，分享自作者个人站点/博客。
原始发表：2019-05-17 ，如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读
目录
相关产品与服务
Elasticsearch Service
腾讯云 Elasticsearch Service（ES）是云端全托管海量数据检索分析服务，拥有高性能自研内核，集成X-Pack。ES 支持通过自治索引、存算分离、集群巡检等特性轻松管理集群，也支持免运维、自动弹性、按需使用的 Serverless 模式。使用 ES 您可以高效构建信息检索、日志分析、运维监控等服务，它独特的向量检索还可助您构建基于语义、图像的AI深度应用。