Logstash混合日志-多行和普通

文章/答案/技术大牛

发布

1回答

logstash、logstash-grok、logstash-file

我使用输入文件来获取如下日志： file { }在其中一个日志文件中，某些事件以一行记录：另一个是像这样的多行代码： 2018-12-10 10:01:30.1097|0|Services.Servicescreation_time": "

浏览 22提问于2018-12-13得票数 0

4回答

如何处理包含多个工作线程的日志存储中的多行？

regex、multithreading、logstash、multiline、logstash-forwarder

我希望使用多个工作线程来处理带有logstash的多行日志，但多行筛选器不能工作：- - 使用带有redis输出的额外logstash接收器和从redis读取并使用一个辅助线程()的额外logstash索引器。作为一种hack，我尝试在logstash

浏览 7提问于2015-03-16得票数 2

回答已采纳

1回答

ELK:从远程Samba映射的网络驱动器读取日志文件的LogStash

elasticsearch、logstash、elk

我是ELK新手，我想建立一个用ES索引Microsoft和应用.NET日志的解决方案。我知道不同的方法：此方法的缺点是必须在每个生成日志的Windows服务器上安装、配置和维护一个logstash实例 2) 应用服务器:日志文件➔文件➔收集服务器: Logstash➔Redis➔Logs

浏览 0提问于2015-12-20得票数 0

回答已采纳

1回答

带有logstash中多行解析的Docker驱动程序

docker、logstash、multiline、logstash-configuration

我将通过syslog驱动程序将我的停靠日志转发给logstash。这对于正常的日志行很好，但在多行方面有问题。我遇到的问题是，停靠日志转发将syslog消息格式添加到每个日志行。如果我使用( logstash不推荐)，我可以成功地组合多行并删除附加lines...however上的syslog消息，这是线程安全的。Log message A more B1 m

浏览 2提问于2016-07-15得票数 5

回答已采纳

2回答

解析多行消息时的Grok解析错误

filter、elastic-stack、logstash-grok、grok

我正在尝试找出用于解析多条消息(如异常跟踪)的grok模式&下面是这样的日志 at java.lang.Thread.run(Thread.java:745) }

浏览 4提问于2017-03-30得票数 0

回答已采纳

1回答

2个编解码器在一个过滤模块中，用于logstash

elasticsearch、logstash

我想问一下关于过滤器插件的问题我所处的情况是，我必须在单个文件模块中设置多行编解码器和普通编解码器。这似乎不起作用，因为logstash无法识别普通编解码器。file { st

浏览 5提问于2016-08-03得票数 1

1回答

在logstash中只有一行-plan.log

logstash

在CentOS上，当我使用以下命令启动Logstash时：它在/var/log/logstash/logstash-plan.log中生成这一行：基于日志</e

浏览 3提问于2017-08-16得票数 0

回答已采纳

2回答

如何重用Logstash编解码器或模式定义？

logstash

背景input { type => "catalina-out" path => [ "/var/tomcat/logs

浏览 0提问于2014-12-02得票数 1

回答已采纳

4回答

测试自定义Logstash过滤器

testing、rspec、logstash、ansible

我们正在使用Ansible和Logstash。我知道有这个- ，但我不明白这有什么用-它似乎过时了。

浏览 9提问于2015-11-04得票数 4

回答已采纳

2回答

Logstash Beats输入多行编解码器

elasticsearch、logstash、logstash-grok

我正在尝试发送多种类型的日志，并在logstash服务器上解析它们。我遇到问题的地方是，其他-log.log有以不同格式字符串开头的条目。pattern => "^\d{2}:\d{2}:\d{2},\d+" what => "previous"} 但是，这会导致logstash尝试加载多行筛选插件会导致以下错误: L

浏览 3提问于2016-12-08得票数 1

1回答

带有码头g亲自驱动程序的logstash多行日志记录

logstash

我试图强迫logstash不要分割我的多行日志，我用这样简单的配置来测试它： gelf {} multiline {^\s" }output { }但是我仍然会犯这样的错误(我也想把它放到gelf编解码选项中，但结果是一样的)：将logstash的日志发送到/var/log/logst

浏览 0提问于2017-04-26得票数 -1

1回答

可以使用logstash.yml文件将日志存储容器日志配置到特定路径吗？

docker、logging、logstash

在普通的logstash中，我们有一个配置文件夹，我们将配置日志和其他与logstash配置相关的东西，包括logstash.yml、log4j2.properties、jvm.options和startup.options是否可以在容器内执行此操作，以便将日志写入到文件中，而不是提供stdout？

浏览 39提问于2020-01-22得票数 1

2回答

目标是使用ELK记录/解析/搜索日志文件，例如apache的访问/错误日志，以及在php执行过程中发生的php错误日志(这是带有堆栈跟踪的多行错误)。当在sebp/elk容器中的logstash中使用此配置时，我可以在kibana中看到条目，因此通过filebeat和logstash进行的一般传输也能够匹配数据。就我在这里理解的grok模式而言，logstash应该在每一行中使用相同的时间戳，并匹配多行<

浏览 4提问于2020-06-02得票数 0

1回答

输入块中的logstash条件语句

logstash、elastic-stack、logstash-configuration、logstash-forwarder

我正在使用logstash和lumberjack来管理我的日志。Logstash从两种不同的文件类型获取输入，其中一种记录多行堆栈跟踪。我知道我应该使用多行编解码器，但我不知道如何将它仅应用于一种类型的日志。我知道我可以使用多行过滤器而不是编解码器，但多行过滤器不允许多个工作者，我需要它们。

浏览 6提问于2016-04-30得票数 1

1回答

Logstash总是在PipeLine中保存一条消息

logstash、logstash-grok、logstash-configuration、logstash-forwarder、logstash-file

我使用Logstash从文件中读取和解析日志，并将它们发送到基于Rest的API中。我的发货人工作得很好，但我正在经历一种奇怪的行为。Version:问题：当Logstash发货人解析第一个日志条目时，它不会发送它，而是将它保存在管道中。当它解析第二个日志条目时，它将第一个日志条目发送到API。每当我停止我的Logstash进程时，它也发送最后一个剩余的消息。因此，从某种意义上说，没有信息丢失，但托运人总是落后一个信息

浏览 1提问于2016-07-01得票数 2

回答已采纳

1回答

是否有可能通过不带Logstash的Filebeat将数据发送到Elasticsearch

elasticsearch、elastic-stack、filebeat

我首先安装了没有Logstash的Elasticsearch和File节拍，我想将数据从Filebeat发送到Elasticsearch。在安装了File节拍并配置了日志文件和Elasticsearch主机之后，我启动了Filebeat，但是，尽管日志文件中有很多行，但是没有发生任何事情，这是File拍的前景。那么，是否可以将日志数据直接转发到没有Logstash的Elasticsearch主机上？我

浏览 1提问于2016-04-25得票数 5

回答已采纳

1回答

Logstash序列化在有效的JSON (mapper_parsing_exception)上失败

json、elasticsearch、logstash、elastic-stack、filebeat

给了以下多行日志 "code" : 429和下面的管道logstash.conf grok { {] } source => "json" }当日志通过文件被发送到日志存储时然后

浏览 0提问于2018-08-07得票数 0

回答已采纳

1回答

日志记录到Logstash:将不同应用程序的日志分开放在一个容器中

ruby-on-rails、docker、logging、logstash、elastic-stack

我正在尝试将应用程序日志重定向到Logstash。我将rails日志重定向到STDOUT，并配置容器使用gelf日志驱动程序，该驱动程序将STDOUT重定向到给定的Logstash服务器。但问题出现了: Passenger web服务器也将自己的日志写入STDOUT。我得到了两个对数的混合，这使得分离和分析变得困难。在这种情况下的最佳实践是什么？我如何标记每个日志流，以便在logstash中将其分开？

浏览 0提问于2017-10-17得票数 0

1回答

我使用的是Filebeat->logstash->eleasticsearch->kibana

logstash

我们使用Kibana仪表板实现了filebeat、logstash、elastic来查看操作日志内容。我有这样一种情况，我从不同的服务中获取日志，例如，对于单个服务，我们收集了操作日志，格式如下。

浏览 2提问于2016-03-04得票数 0

1回答

Elasticsearch match_all只返回一个结果

elasticsearch、logstash

我有logstash设置来将输出发送到弹性搜索： index => "logstash-systest-%{+YYYY.MM.dd}"} 日志</e

浏览 4提问于2014-10-06得票数 2

回答已采纳

点击加载更多