如何使用logstash转换日志消息？

文章/答案/技术大牛

发布

1回答

logstash、logstash-grok

我有以下日志消息，如 2021-03-26 11:49:25.575: 2021-03-26 11:49:25.575信息10.0.3.12 - "POST https://api.kr-seo.assistant.watson.cloud.ibm.com-03-26 11:49:26.514信息10.0.3.12 + "POST http://test-bff.lotteon.com/order/v1/mylotte/getOrderList" 我

浏览 26提问于2021-03-27得票数 1

1回答

NXLOG文件输入搜索模式

windows、logging、vmware-vcenter、logstash

我试图使用nxlog将vCenter消息转发给Logstash，并使用im_file输入模块和一个模式来指定要查看的确切文件(S)。通常很简单的事情现在变得不必要的复杂了，因为vCenter的日志旋转压缩了日志，然后在创建下一个日志文件时增加了文件名。例如：我想转发来自vCenter vpxd.log日志的消息： *vpxa(\.log|\.\d+(\.gz

浏览 0提问于2013-12-23得票数 1

回答已采纳

1回答

为什么我们在Python中使用logstash_formatter包？

python、json、rabbitmq、logstash

我使用logstash_formatter python模块将格式化的日志发送到logstash。logstash_formatter正在将我传递的字典转换为JSON字符串。然后，我的应用程序将此JSON消息写入audit_log文件。logstash agent正在读取这个日志文件并将JSON数据发送到RabbitMQ中。在从logstash_formatter安装包之前，我预计由于此格式化程序将JSON消

浏览 12提问于2014-03-18得票数 6

回答已采纳

2回答

由于从.json文件中转出事件，Kibana中缺少事件

json、elasticsearch、logstash、kibana

我使用ELK，由于发生了如此多的日志记录，.json文件中的事件正在滚动到.json.1文件中，因此，当我运行测试时，我无法获得kibana中的所有事件(例如，如果我有1200个事件，我将在kibana但是我在.json.1中做了一个配置，只读.json文件，并且我错过了logstash中存在的所有100个事件。)如何在kibana推出100个活动？

浏览 3提问于2015-05-22得票数 0

1回答

将heroku日志排水沟连接到日志存储处

elasticsearch、heroku、logstash

我在上创建了一个elasticsearch集群，并试图从Heroku向其发送日志。到目前为止我还没有收到数据。我有以下问题：谢谢你能帮我把这件事办好。

浏览 1提问于2018-08-21得票数 2

3回答

麋鹿的好建筑是什么？

elasticsearch、redis、logstash、apache-kafka、kibana

我试着用麋鹿建立一个日志分析系统。我看到很多建筑用不同的方式使用麋鹿。其中之一是第一个Logstash用于收集日志，第二个Logstash用于筛选日志。

浏览 3提问于2015-07-22得票数 4

回答已采纳

1回答

如何使用logstash丢弃大型消息？

logstash

我们使用logstash来捕获日志消息。如何使用logstash丢弃大型消息？

浏览 1提问于2019-04-03得票数 0

回答已采纳

2回答

使用syslog将码头集装箱日志发送到logstash

docker、logstash、syslog、rsyslog

假设位于/var/log/syslog中的日志不使用任何额外的组件(例如伐木机和logspout )就被运往logstash？我只是想知道，因为我设置了一个环境，并试图让它与syslog一起工作(所以syslog将日志从docker容器发送到logstash)，但目前它无法工作。只是想知道我的逻辑是不是出了什么问题。

浏览 3提问于2014-12-16得票数 2

回答已采纳

2回答

温斯顿3.x支持洛格藏匿失踪？

node.js、logging、logstash、winston、elk

我使用温斯顿作为日志库，因为它是我在JS堆栈上开发时的首选。var winston = require('winston'); 现在输出是 {"@message":"ciao mondo","@fields":{"level"

浏览 2提问于2019-06-29得票数 1

回答已采纳

1回答

ELK:从远程Samba映射的网络驱动器读取日志文件的LogStash

elasticsearch、logstash、elk

我知道不同的方法：此方法的缺点是必须在每个生成日志的Windows服务器上安装、配置和维护一个logstash实例这种方法的缺点是，当前文件拍不支持多行日志条目我不知道如何</

浏览 0提问于2015-12-20得票数 0

回答已采纳

2回答

将日志消息时间戳转换为UTC，然后将其存储在Elasticsearch中。

elasticsearch、logstash、utc

我正在使用Logstash收集和解析Tomcat访问日志消息，并将解析的消息存储在Elasticsearch中。我使用Kibana在Elasticsearch中显示日志混乱。目前，我正在使用Elasticsearch 2.0.0、Logstash 2.0.0和Kibana 4.2.1。下面是我如何解析消息行： match =&

浏览 2提问于2016-02-14得票数 1

3回答

如何使用node.js设置ELK

node.js、elasticsearch、logstash、kibana

我在考虑使用elasticsearch，logstash和kibana。我想知道如何在我的节点服务器上设置ELK。

浏览 37提问于2017-08-17得票数 10

2回答

用cisco syslog进行Logstash字符编码

elasticsearch、logstash、kibana、elastic-stack、logstash-configuration

我配置了logstash和其他东西，并将syslog测试消息发送到logstash。一切都很好。现在我尝试从Cisco WLC和Cisco交换机发送syslog消息到logstash，并且消息编码似乎是错误的。在logstash日志文件中，我看到以下条目(我删除了消息) 2018-01-09T16:04:24,603logstash.codecs.plain收到了一个与您配置的字符编码不同的事件。{:text=>

浏览 7提问于2018-01-09得票数 0

回答已采纳

2回答

如何阻止logstash将logstash日志写入syslog？

elasticsearch、logstash、syslog、logstash-jdbc

我在我的ubuntu服务器中有我的logstash配置，它从postgres数据库读取数据并将数据发送到弹性搜索。我已经在每15分钟配置了一个日程，logstash将查看postgres表，如果表中有任何更改，它会将数据发送给弹性搜索。那么，如何停止logstash将其日志发送到syslog。logstash.

浏览 3提问于2019-10-23得票数 2

回答已采纳

1回答

Elasticsearch >可以基于字段建立索引吗

elasticsearch、logstash、elastic-stack、filebeat

在ELK (Elasticsearch，Logstash，Kibana)的上下文中，我了解到Logstash有过滤器来利用grok将日志消息划分为不同的字段。根据我的理解，将非结构化的日志数据转换为更结构化的数据只会有所帮助。但是我不知道Elasticsearch如何利用字段(由grok完成)来提高查询性能？

浏览 0提问于2016-04-29得票数 0

3回答

Logstash高可用性部署

linux、logging、logstash、high-availability、failover

我在一种模式下使用，它从磁盘读取日志文件并放入ElasticSearch。部署logstash以实现高可用性(尤其是故障转移)的最佳方式是什么？我对两个logstash实例始终处于活动状态的主动/主动模式和主动/被动模式都没问题，在主动/被动模式下，一个实例正在工作，而另一个实例只有在第一个实例关闭时才会启动。我特别问的是logstash，而不是ElasticSearch。

浏览 6提问于2014-07-02得票数 1

1回答

如何在stdout中为logstash启用调试日志？

debugging、stdout、logstash

我作为新手在日志中挣扎，下面是一些我的env的信息java Version: openjdk version "11.0.13" 2021-10-19 LTSinput {} stdout { }我使用下面的命令运行logstash，得到错误： #

浏览 0提问于2022-01-03得票数 0

回答已采纳

4回答

使用Filebeat和Logstash将日志文件推送到Elasticsearch中的区别

elasticsearch、logstash、elastic-stack、filebeat、elk

我正在试用麋鹿来可视化我的日志文件。我尝试过不同的设置：有人能列出他们的不同之处以及何时使用哪种设置？

浏览 5提问于2019-10-28得票数 8

回答已采纳

1回答

Linux上的Logstash文件输入延迟

linux、logstash

从向日志文件中添加一行到Logstash识别新行并开始转换和输出它需要多长时间。使用一个简单的BASH脚本，我测量99毫秒到800毫秒，包括一个转换。很明显，延迟取决于Logstash转换、HD、OS和CPU。但是如何识别Logstash文件更改呢？有内部计时器吗？从文件中提取日志？

浏览 10提问于2015-10-11得票数 0

回答已采纳

1回答

如何处理那些有时在Logstash和Elasticsearch中也没有值的数字？

logging、elasticsearch、logstash

我试图用Logstash解析一个类似Apache的日志文件，其中包含的数字有时被表示为-而不是0，比如Apache中的%b格式字符串可以是：在Logstash中，我创建了如下模式：NIL_NUMBER (%{NUMBER})|(-)和Logstash成功地解析了我的所有日志。但是，当我想在Elasticsearch中插入这些日志文件的内容时，如果首先

浏览 4提问于2015-07-07得票数 0

点击加载更多