过滤数据时出现logstash grok问题

文章/答案/技术大牛

发布

1回答

elasticsearch、logstash、logstash-grok

我有一个基本用于通过rm命令删除数据的数据，如下所示。 ttmv516,19/05/21,03:59,00-mins,dvcm,dvcm 166820 4.1 0.0 4212 736 ?workspace4/dvfcronrun_IL-SFV-RHEL6.5-K4_kinite_agile_invoke_dvfcronrun_at_given_site_50322 我在这上面使用了下面的logstashgrok，它工作得很好，但直到最近我发现了两个奇怪的问题1) _grok

浏览 17提问于2019-05-21得票数 1

回答已采纳

1回答

Logstash仅从输入中获取一个结果

elasticsearch、logstash

我对Logstash有个问题。它只匹配第一次出现的情况。例如。我正在接收这样的数据：2017.05.022011.10.24我有过滤器： grok { "host":"127.0.0.1", "started":&

浏览 3提问于2018-07-13得票数 0

1回答

Logstash JSON Grok过滤器问题

elasticsearch、logstash、grok

我已经设置了squid代理，可以通过Logstash将JSON格式化的日志发送到Elastic。我试图使用GROK过滤来解析日志。过滤器在Kiabana Grok调试器中工作，但是当我重新启动Logstash时会出现以下错误{\", \

浏览 2提问于2021-05-13得票数 0

回答已采纳

1回答

Logstash:值太大，无法输出

elasticsearch、jboss、logstash、elastic-stack、logstash-grok

最近使用5.0.0-1版本构建的ELK堆栈[2016-11-14T19:48:48,802][ERROR][logstash.filters.grok/vendor/bundle/jruby/1.9/gems/logstash-filter-grok-3.2.3/lib/logstash/filters/<em

浏览 1提问于2016-11-16得票数 2

1回答

使用字段作为Logstash过滤器模式的输入

filter、logstash、grok

我想知道是否可以使用Logstash消息中的字段作为to Grok模式的输入。{ }问题是，这会使Logstash崩溃，因为它似乎将"%{ grok_filter }“视为Grok过滤器本身，而不是grok_filter的值。在Logstash崩溃后，我得到了以下

浏览 2提问于2014-10-23得票数 1

回答已采纳

1回答

编写Logstash配置文件

logstash

-14 13:39:33“、"userIP":"10.16.4.225”、“用户名”：“dpnini”、“group”：“用户”、“vpnMsg”：“测试密码域限制失败” 我只知道我用"bin/logstash-f logstash-simple.conf“启动logstash，而且我知道我需要更改的文件是config文件夹中的YML文件。

浏览 5提问于2017-03-07得票数 1

回答已采纳

1回答

启用grok规则时从应用程序消失的ELK日志

elasticsearch、logstash、grok

问题在于grok规则，我知道这一点，因为如果删除运行于app2的grok规则，日志就会如预期的那样出现。当我取消对grok规则的评论时，app2的日志就不再出现在elasticsearch中了filter { if "app2" in [tags] {当然，我已经检查了elasticsearch和logstash的日志，但是没有报告任何问题。这促使我

浏览 0提问于2018-10-02得票数 1

1回答

带有多个grok过滤器的所有解析日志中的_grokparsefailure标记

logstash、elastic-stack、logstash-grok、logstash-configuration

我的logstash管道配置如下： file { #start_position => "beginning，我评论了其他的想法(当取消逗号时，同样的问题)。即使默认情况下break_on_match是true，并且当它与grok 2匹配时，也不应该使用grok 3.进行测试。我读过一些类似于堆栈溢出中的其他<e

浏览 3提问于2020-09-02得票数 2

回答已采纳

1回答

Grafana没有可视化日志

elasticsearch、logstash、grafana

我已经安装了elasticsrarch、logstash和Grafana来可视化系统syslog。一切都很好，直到昨天早上7点，Grafana停止刷新和可视化浏览器中的任何类型的syslog。当我转到logstash终端时，我可以看到syslog进入了终端，但Grafana没有显示它们。 grok_pattern => "<%{POSINT:priority}>%{TIMESTAMP_ISO8601:ti

浏览 49提问于2021-05-16得票数 0

2回答

使用Logstash+ logstash forwarder+ kibana+Elasticsearch自定义日志

elasticsearch、logstash、kibana

我配置了Logstash+日志转发器+ kibana + Elasticsearch。它可以处理系统日志，比如Apache错误日志和syslogs。

浏览 3提问于2014-09-05得票数 0

1回答

Logstash自定义日志解析

logstash、logstash-grok、logstash-configuration

在通过logstash进行自定义日志解析方面需要您的帮助2015-11-01 07:55:18,952 [abc.xyz.com] - /Enter,1449647718950_1449647718952_2_App_e9c00521-eeec-4d47-bf5b-b842ec14a4ff_178.255.153.2___, , , NEW, input { path => [ "/tm

浏览 0提问于2015-12-10得票数 0

1回答

使用Logstash grock过滤器解析Syslog不适用于Kibana

elasticsearch、kibana、logstash-grok

我创建了一个非常基本的grok过滤器来解析Cisco Syslogs： input { port => 5140 } }并验证日志没有显示主要问题之后，我重新加载了Kibana并刷新了索引。但是查看这些字段，它们是默认字段，而不是在grok过滤器中定义的字段。添加过滤器后收到的日志在Kibana中显示以下标签： ? 在添加过滤器之前，我使用Kibana的Grok</e

浏览 35提问于2021-07-16得票数 0

2回答

logstash general_logs CSV格式

mysql、csv、logstash

我想将mysql general_log添加到logstash中。我已经成功地以CSV格式制作了mysql日志，使用CSV模式，应该没有什么更容易做的了。if [type] == "nginx-access" { match => { 'message' =>我已经在logstash上运行了这个配置，由于grok解析，它在_grokparsefailure中结束了。当我在配置文件

浏览 6提问于2015-08-15得票数 1

回答已采纳

1回答

Kibana/Elastic查询返回无结果

regex、elasticsearch、lucene、logstash、kibana

我们让Logstash接收syslog文件，然后将它们存储在一个Elasticsearch索引中。我们试图使用Kibana查询此索引，以找到一些特定的信息，但无法使regex查询工作。

浏览 0提问于2018-05-02得票数 0

1回答

调试ELK堆栈中的File节拍

debugging、logstash、elastic-stack、filebeat

我的麋鹿系统有点问题。客户端的工作如下：我们的部分日志不是从特定的机器到达弹性的。我怀疑问题出在Filebeat的日志采集上。当您在前台运行File节拍时，可以使用-e命令行标志将输出重定向到标准错误。例如：文件击败-e默认配置文件为filebeat.yml (文件的位置因平台而异)。

浏览 1提问于2017-11-02得票数 5

2回答

在完全使用之前调试新的logstash* grok过滤器*

logstash、logstash-grok

进程，但是当我将日志行粘贴到shell中时，我没有看到日志条目被分解到我期望grok过滤器将其分解到的组件中。过滤器时遇到了问题，所以我现在尝试了一个我知道可以工作的现有过滤器(如上所述，它是一个星号1.2过滤器)，并且已经在elasticsearch中生成了一段时间的条目。现在，当我跟踪logstash-debug.log时，我只看到也被写入到我的shell中的错误。任何关于调试grok过

浏览 0提问于2014-11-01得票数 6

回答已采纳

3回答

默认grok模式路径

logstash、logstash-grok

我在Ubuntu Server 14上安装了Logstash，在哪里可以找到Logstash过滤日志时使用的默认grok模式？谢谢。

浏览 1提问于2015-08-10得票数 11

1回答

使用regex与json进行过滤

json、regex、elasticsearch、logstash、query-performance

在过滤日志时，Logstash可能会使用grok来解析接收到的日志文件(假设是Nginx日志)。使用grok进行解析需要您正确设置字段类型-例如，%{HTTPDATE:timestamp}。然而，如果Nginx开始以JSON格式记录日志，那么Logstash只做很少的处理。它只是创建索引，并输出到Elasticseach。与JSON相比，使用Regex处理索引数据对Elasticseatch有什么优势吗？例如，它是否会影响查询时间？

浏览 24提问于2020-04-17得票数 0

回答已采纳

1回答

神秘的grok过滤器语法错误

logstash-grok

因此，我有以下logstash过滤器配置文件。filter { grok { } grok { match =

浏览 2提问于2015-06-03得票数 0

1回答

ELK -如何在logstash中使用不同的源

elasticsearch、nginx、logstash、kibana、filebeat

:5044"] beats { } grok { patterns_dir => "/etc/logstash:%{NUMBER:bytes}|-

浏览 0提问于2019-01-14得票数 0

回答已采纳

点击加载更多