首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Logstash:多个配置文件(conf)

Logstash:多个配置文件(conf)

作者头像
腾讯云大数据
修改2021-01-08 15:56:08
3.4K0
修改2021-01-08 15:56:08
举报

腾讯云 Elasticsearch Service】高可用,可伸缩,云端全托管。集成X-Pack高级特性,适用日志分析/企业搜索/BI分析等场景


在前面的一篇文章 “Logstash:处理多个input” 中,我们介绍了如何使用在同一个配置文件中处理两个 input 的情况。在今天这篇文章中,我们来介绍如何来处理多个配置文件的问题。对于多个配置的处理方法,有多个处理方法:

  • 多个 pipeline
  • 一个 pipleline 处理多个配置文件

一个 pipeline 含有一个逻辑的数据流,它从 input 接收数据,并把它们传入到队列里,经过 worker 的处理,最后输出到 output。这个 output 可以是 Elasticsearch 或其它。下面针对这两种情况,来分别进行描述。

多个pipeline

为了做这个练习,我创建了两个 Logstash 的配置文件。这两个配置文件可以在地址 https://github.com/liu-xiao-guo/logstash_multi-pipeline 进行下载。我们把文件下载下来后,把文件存于一个自己喜欢的目录里。根据这个路径修改下面 .conf 文件里的 path 里的路径。

apache.conf

input {  file {    path => "/Users/liuxg/data/multi-input/apache.log"  	start_position => "beginning"    sincedb_path => "/dev/null"    # ignore_older => 100000    type => "apache"  }} filter {  	grok {    	match => {      		"message" => '%{IPORHOST:clientip} %{USER:ident} %{USER:auth} \[%{HTTPDATE:timestamp}\] "%{WORD:verb} %{DATA:request} HTTP/%{NUMBER:httpversion}" %{NUMBER:response:int} (?:-|%{NUMBER:bytes:int}) %{QS:referrer} %{QS:agent}'    	}  	}}  output {	stdout {		codec => rubydebug	}   	elasticsearch {    	index => "apache_log"    	template => "/Users/liuxg/data/apache_template.json"    	template_name => "apache_elastic_example"    	template_overwrite => true  }	}

这个配置文件非常简单。和之前的练习差不多。记得修改上面的 path 路径,并让它指向我们的 log 文件所在的路径。

daily.conf

input {  file {    path => "/Users/liuxg/data/multi-pipeline/apache-daily-access.log"  	start_position => "beginning"    sincedb_path => "/dev/null"    type => "daily"  }} filter {  	grok {    	match => {      		"message" => '%{IPORHOST:clientip} %{USER:ident} %{USER:auth} \[%{HTTPDATE:timestamp}\] "%{WORD:verb} %{DATA:request} HTTP/%{NUMBER:httpversion}" %{NUMBER:response:int} (?:-|%{NUMBER:bytes:int}) %{QS:referrer} %{QS:agent}'    	}  	}}  output {	stdout {		codec => rubydebug	}   	elasticsearch {    	index => "apache_daily"    	template => "/Users/liuxg/data/multi-pipeline/apache_template.json"    	template_name => "apache_elastic_example"    	template_overwrite => true  }	}

记得修改上面的 path 路径,并让它指向我们的 log 文件所在的路径。

接下来,我们修改我们的 pipelines.yml 文件。在logstash的安装目录下的 config 文件目录下,修改 pipelines.yml 文件。

pipelines.yml

 - pipeline.id: daily   pipeline.workers: 1   pipeline.batch.size: 1   path.config: "/Users/liuxg/data/multi-pipeline/daily.conf"  - pipeline.id: apache   queue.type: persisted   path.config: "/Users/liuxg/data/multi-pipeline/apache.conf"

在上面的配置中,我们把 daily.conf 和 apache.conf 分别置于两个不同的 pipleline 中。

这样,我们的配置已经完成了。进入到 Longstash 的安装目录。我们通过如下的命令来运行:

bogon:logstash-7.3.0 liuxg$ pwd/Users/liuxg/elastic/logstash-7.3.0bogon:logstash-7.3.0 liuxg$ sudo ./bin/logstash

在terminal中,我们可以看到:

显然,有两个 piple 在同时运行。我们可以在 Kibana 中看到我们的 index 结果:

一个 pipeline

我们同样可以修改位于 Logstash 安装目录下的 config 子目录里的 pipleline.yml 文件,并把它修改为:

pipelines.yml

 - pipeline.id: my_logs   queue.type: persisted   path.config: "/Users/liuxg/data/multi-pipeline/*.conf"

这里,我们把所有位于 /Users/liuxg/data/multi-pipeline/ 下的所有的 conf 文件都放于一个 pipeline 里。

我们按照上面同样的方法来运行我们的应用:

bogon:logstash-7.3.0 liuxg$ pwd/Users/liuxg/elastic/logstash-7.3.0bogon:logstash-7.3.0 liuxg$ sudo ./bin/logstash

运行的结果是:

在上面我们看到了两个同样的输出。这是为什么呢?这是因为我们把两个.conf 文件放于一个 pipleline 里运行,那么我们有两个stdout 的输出分别位于两个 .conf 文件了。

我们在 Kibana 里可以看到我们的最终的index数据:

我们可以看到在 apache_log 里有20条数据,它包括两个 log 文件里所有的事件,这是因为它们都是一个 pipleline。同样我们可以在 apache_daily 看到同样的20条数据。


最新活动

包含文章发布时段最新活动,前往ES产品介绍页,可查找ES当前活动统一入口

Elasticsearch Service自建迁移特惠政策>>

Elasticsearch Service 新用户特惠狂欢,最低4折首购优惠 >>

Elasticsearch Service 企业首购特惠,助力企业复工复产>>

关注“腾讯云大数据”公众号,技术交流、最新活动、服务专享一站Get~

本文系外文翻译,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文系外文翻译前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 【腾讯云 Elasticsearch Service】高可用,可伸缩,云端全托管。集成X-Pack高级特性,适用日志分析/企业搜索/BI分析等场景
  • 多个pipeline
  • 一个 pipeline
  • 最新活动
相关产品与服务
Elasticsearch Service
腾讯云 Elasticsearch Service(ES)是云端全托管海量数据检索分析服务,拥有高性能自研内核,集成X-Pack。ES 支持通过自治索引、存算分离、集群巡检等特性轻松管理集群,也支持免运维、自动弹性、按需使用的 Serverless 模式。使用 ES 您可以高效构建信息检索、日志分析、运维监控等服务,它独特的向量检索还可助您构建基于语义、图像的AI深度应用。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档