可选字段的Grok模式
Grok模式是一种用于日志解析和数据提取的模式匹配工具。它可以将结构化和非结构化的日志数据转换为可查询和分析的格式。Grok模式通常由一系列的正则表达式组成，用于匹配和提取日志中的特定字段。
Grok模式的分类：
- 基本模式：包括数字、IP地址、日期、时间等基本类型的匹配模式。
- 自定义模式：用户可以根据自己的需求定义和命名自己的模式，以便更好地匹配和提取特定的字段。
- 预定义模式：Grok提供了一些预定义的模式，用于匹配常见的日志格式，如Apache、Nginx、Syslog等。
Grok模式的优势：
- 灵活性：Grok模式可以根据不同的日志格式进行定制，适应各种不同的日志数据。
- 可读性：Grok模式使用易于理解的语法，使得日志解析的规则更加清晰和可读。
- 高效性：Grok模式使用正则表达式进行匹配，具有较高的匹配效率。
Grok模式的应用场景：
- 日志分析：Grok模式可以帮助将大量的日志数据转换为结构化的格式，便于后续的分析和查询。
- 安全监控：通过解析日志中的关键字段，可以实时监控系统的安全状态，及时发现异常行为。
- 故障排查：通过提取日志中的关键信息，可以快速定位和解决系统故障。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云日志服务（CLS）：https://cloud.tencent.com/product/cls 腾讯云日志服务（CLS）是一种全托管的日志管理服务，可以帮助用户实时采集、存储、检索和分析日志数据。CLS提供了Grok模式的支持，可以方便地进行日志解析和提取。
- 腾讯云日志智能分析（CLS AI）：https://cloud.tencent.com/product/clsai 腾讯云日志智能分析（CLS AI）是基于CLS的日志分析增值服务，提供了自动化的日志解析和分析功能。CLS AI内置了丰富的Grok模式，可以自动识别和解析各种常见的日志格式。
- 腾讯云日志服务（CLS）+云监控（Cloud Monitor）：https://cloud.tencent.com/product/monitor 腾讯云日志服务（CLS）与云监控（Cloud Monitor）的结合可以实现对日志数据的实时监控和告警。通过定义Grok模式，可以提取关键字段并设置相应的告警规则，及时发现和处理异常情况。
以上是关于可选字段的Grok模式的概念、分类、优势、应用场景以及腾讯云相关产品和产品介绍链接地址的完善答案。
相关·内容
2回答
Grok -解析可选字段
、、、
我有来自卡夫卡的数据，我想把它们发送到ElasticSearch。我有一个像这样的带有标签的日志：
<TOTO><ID_APPLICATION>APPLI_A|PRF|ENV_1|00</ID_APPLICATION><TN>3</TN></TOTO>
我正在尝试用grok使用grok调试器来解析它：
\<ID_APPLICATION\>%{WORD:APPLICATION}\|%{WORD:PROFIL}\|%{WORD:ENV}\|%{WORD:CODE}\</ID_APPLICATION\>\
浏览 1提问于2016-01-12得票数 5
1回答
我正在尝试使用grok解析日志文件
日志文件的每一行都有用逗号分隔的字段：
13,home,ABC,Get,,Private, Public,1.2.3 ecc...
我像这样使用match：match => [ "message", "%{NUMBER:requestId},%{WORD:ServerHost},%{WORD:Service},...
我的问题是:我可以允许可选字段吗？有时，某些字段可能为空,,
有没有一种模式可以匹配这样的2.3.5字符串？(一种版本号)
浏览 2提问于2015-05-07得票数 31
回答已采纳
我在kubernetes上部署了一个ELK堆栈，用于收集容器的数据。在所有其他功能中，它使用grok过滤器根据模式解析实际的日志行。
我的愿望是能够通过使用kubernetes pod中的注释来设置此模式。
我在pod中添加了一个名为elk-grok-pattern的批注，并配置了filebeat以转发批注，我可以在logstash中的event中以字段的形式获取批注值，到目前为止一切顺利。
问题是我无法将字段的值用作grok pattern。
我的pod中的注释如下所示：
Annotations: elk-grok-pattern=%{IP:client} %{WORD:method}
浏览 0提问于2018-01-12得票数 2
我想用grok创建userId字段。在日志示例中，您可以看到userId: guid格式的用户id。那么在userId的grok中需要添加什么模式呢？这方面需要一些指导。 这是我的日志 2020-10-15 16:01:29.1350 [84680] ERROR FinanceAPI.Controllers.TransactionController 192.168.43.244 Invalid Ledgers [UserId:1dfae3d2-258d-42d4-802e-c39a751574e3] 下面是grok模式 grok {
match => { &#
浏览 22提问于2020-10-15得票数 0
1回答
我正在尝试为logstash创建一个过滤器，它将对所有日志具有“通用”grok过滤器，如果存在某个字段，那么我希望它执行一个不同的grok。
我用的第一个方法是
grok {
match => [
"message", "....%{NOTSPACE:name} %{GREEDYDATA:logcontent}"
]
}
效果很好。但是如果"name“字段是"foo”，我希望它能够过滤得更多。
if [name] == "foo" {
grok {
match => [
"message", "
浏览 7提问于2016-02-18得票数 0
回答已采纳
logstash新手。我正在尝试解析应用程序日志行，例如：
2014-11-05 16:59:36,779错误文件名\bob这是一个错误。
我的配置文件如下所示：
input {
file {
path => "C:/tmp/*.log"
}
}
filter {
grok {
match => [
"message", "%{TIMESTAMP_ISO8601:timestamp}\s*%{LOGLEVEL:level}\s*%{DATA:userAlias}\s*%{GREEDYDATA:m
浏览 1提问于2014-11-18得票数 0
我有一些像"John-Raj“这样的刺痛，我想通过使用grok模式在logstash中将这两个字段合并为一个字段。
因此，我希望输出如下所示。但我无法使用\%{WORD}和%{NOTSPACE}获取单个字段的输出
"John-Raj"
以及如何创建grok输出的想法？
浏览 0提问于2015-06-26得票数 1
我正在为一些日志文件构建一个Grok模式。日志消息中有一个字段，类似于以下两种情况：
IP Address: (192.168.1.100),
IP Address: (192.168.1.100, 2001:0db8:85a3:0000:0000:8a2e:0370:7334),
直接处理第一个示例时，我定义了一个名为IP2的新IP模式，以从圆括号\((?:%{IP})\)中脱出，最后得到如下内容：
Example Core RegEx Patterns:
IPV6 ((([0-9A-Fa-f]{1,4}:){7}([0-9A-Fa-f]{1,4}|:))|(([0-9A-Fa-f]{1,4
浏览 0提问于2016-11-06得票数 2
回答已采纳
我想知道是否可以使用Logstash消息中的字段作为to Grok模式的输入。假设我有一个条目看起来是：
{
"message":"10.1.1.1",
"grok_filter":"%{IP:client}"
}
我想做这样的事：
filter {
grok {
match => ["message", ["%{grok_filter}"]]
}
}
问题是，这会使Logstash崩溃，因为它似乎将"%{ grok_filter }“视为Grok过滤器
浏览 2提问于2014-10-23得票数 1
回答已采纳
3回答
我们在Elasticsearch中使用管道来模拟grok过滤器。我们遇到了以下奇怪的行为。
如果timestamp字段位于消息的开头，则grok过滤器不起作用。
## GROK NOT WORK
POST /_ingest/pipeline/_simulate
{
"pipeline": {
"processors": [
{
"grok": {
"field": "message",
浏览 0提问于2020-04-18得票数 0
我已经配置了一个LogStash EC2服务器，以将一些日志推入AWS ElasticSearch域中。这一过程正常工作，在基巴纳可以看到日志。但是，我需要在名为“message”的字段中提取数据，并在Kibana仪表板中的单独列中显示提取的数据。我遵循了一些教程，并尝试使用grok工具修改logstash配置。
每个记录大约有35个字段，字段“message”是一个复杂的字段，由10个单独的值组成。我需要的是为每条记录提取这10个值中的每一个，并将它们表示为单独的字段。
下面是消息的示例字段。
2021-04-05 13:32:03.746+0000 | INFO | BRAINWAVE_A
浏览 1提问于2021-04-05得票数 0
你好，我是logstash的新成员。当我试图解析logstash中的@logstash字段时，这是来自nxlog的输出。请有人建议我如何在grok中使用regex来解析下面的@message字段。
“审核日志已清除。\r\n nSubject：\r\n\tSecurity ID:\tS-1-5-21-1753799626-3523340796-3104826135-1001\r\n\tAccount Name：\tJhon\n\t域名：\tJactrix\r\n\tLogon：\t1x12325”
我使用下面的grok模式来解析
匹配=> {“%{@消息}”=> ID：\
浏览 6提问于2015-10-28得票数 0
回答已采纳
单独使用匹配字符串时，我的grok表达式工作得很好，但是当我将这个grok表达式与其他grok表达式一起使用以捕获日志行中也存在的其他数据时，它与相同的匹配字符串不匹配。
Case1:当单独运行下面的日志字符串并在字段targetMessage中捕获值时，下面的grok表达式运行良好
日志字符串：Tracking : sent request to msgDestination Grok表达式：(?<targetMessage>^Tracking : (?:received response from|sent request to) msgDestination$)
Case2:
浏览 15提问于2022-11-26得票数 0
回答已采纳
1回答
我有一个日志字符串，如：
2018-08-02 12:02:25.904 [http-nio-8080-exec-1] WARN o.s.w.s.m.s.DefaultHandlerExceptionResolver.handleTypeMismatch - Failed to bind request element
在上面的字符串中，[http-nio-8080-exec-1]是一个可选字段，它可以出现在一些日志语句中。
我创建了一个类似于在网上引用的grok模式：
%{TIMESTAMP_ISO8601:timestamp} (\[%{DATA:thread}\])? %{LOGLEV
浏览 14提问于2018-08-02得票数 2
回答已采纳
msg字段数据是：
Starting RentalTransactionMessageProcessor cc_digits="1982"
grok匹配模式是：
grok {
match => { "msg" => "%{GREEDYDATA:text} cc_digits= %{NUMBER:ccdigits}" }
}
规则：
cc_digits should be 4 digits
我正在检查下面的grokDebugger
这不是编写匹配的pattern.Can的正确方式，任何人都提供正确的编写模式的方式。
浏览 1提问于2015-07-15得票数 0
回答已采纳
因此，我通过摄取管道和grok处理器将我日志消息字段解析为单独的字段，但其中一个字段(字符串)是以单独的新日志格式解析的。最好用具体的例子来解释一下。这是我的日志： {"@timestamp":"2021-08-27T10:53:04.669661+02:00","@version":1,"host":"fafca1a6b0d9","message":"Loose white designer T-Shirt,L,29,1,sylius,1","type":"
浏览 22提问于2021-08-27得票数 0
我试图通过Grok/Regex解析几个动态字符串，这些字符串存在于()之间的日志消息中。例如(下面的SenderPartyName)：
2021/05/23 16:01:26.094 High Messaging.Message.Delivered Id(ci1653336085475.12327434@test_te) MessageId(EPIUM#1130754#84601671) SenderPartyName(Mcdonalds (CFH) Restaurant Glen) ReceiverPartyName(TEST_HERE_AGAIN) SenderRoutingId(08Md
浏览 7提问于2022-06-01得票数 1
回答已采纳
2回答
我正在我的储物柜里找出所有的失败。
似乎唯一的两个罪魁祸首是NGINX日志，它绊倒了我的NGINXACCESS模式：
%{IPORHOST:clientip} %{NGUSER:ident} %{NGUSER:auth} \[%{HTTPDATE:timestamp}\] "%{WORD:verb} %{URIPATHPARAM:request} HTTP/%{NUMBER:httpversion}" %{NUMBER:response} (?:%{NUMBER:bytes}|-) (?:"(?:%{URI:referrer}|-)"|%{QS:referre
浏览 0提问于2015-07-29得票数 2
回答已采纳
我是elasticsearch社区的新手，我希望在一些我正在努力的事情上能得到你的帮助。我的目标是使用Filebeat向Elasticsearch发送大量的日志文件。为此，我需要使用Grok pattern processor的摄取节点来解析数据。如果不这样做，我的所有日志都不是可利用的，因为每个like都属于同一个"message“字段。不幸的是，我遇到了一些grok正则表达式的问题，我找不到问题，因为这是我第一次使用它。我的日志是这样的：
2016-09-01T10:58:41+02:00 INFO (6): 165.225.76.76 entreprise1 emai
浏览 0提问于2018-06-12得票数 2
我有这样一场相亲：
grok{ match => [ “message”, “Duration: %{NUMBER:duration}”, “Speed: %{NUMBER:speed}” ] }
如果与grok模式匹配，我还想向捕获的变量添加另一个字段。我知道我可以使用变异插件和if-否则添加新的字段，但我有太多的匹配，这将是太长的方式。举个例子，我想为给定的文本捕获右侧字段。
"Duration: 12" => [duration: "12", type: "duration_type"]
"Speed: 12"
浏览 4提问于2016-04-21得票数 1
回答已采纳
1回答
我有3台服务器：
Elasticsearch / Kibana
洛格斯塔什
Web服务器
在web服务器上，我有文件和节拍运行。我希望由file节拍发送apache日志，但不想查看节拍器系统日志。
在我的logstash服务器上，/etc/logstash/con.d/中有一个名为"apache-filter.conf“的文件，这是文件工作时的样子：
filter {
grok {
match => { "message" => "%{COMBINEDAPACHELOG}"}
}
grok
浏览 0提问于2018-04-06得票数 1
回答已采纳
1回答
我有一个日志文件，我想用kibana进行分析。我编写了一个Grok模式，它可以工作并创建我想要的字段。我的问题是，日志文件中的一些行看起来与所有其他常规事件完全不同。 我的Grok模式只适用于日志中99%的行。我无法找到让kibana忽略那些具有不同模式的那几行的方法。我已经尝试过过滤器或使用了几个grok模式，但我不能让它工作。 我的日志文件中的常规事件如下所示： 12345678 foo 127.0.0.1 foo foo foo 有时我会在日志文件中收到一个不同模式的事件，比如 12345678服务器停机 我的grok模式%(SYSLOGTIMESTAMP:timestamp} %{D
浏览 15提问于2019-09-09得票数 0
1回答
在flink流中使用grok
、、、、
Flink管道如下：
阅读来自卡夫卡主题的消息(字符串)。
模式匹配通过grok转换为json格式。
从json提取字段的时间窗口上的聚合。
下面是使用grok进行模式匹配的代码。
SingleOutputStreamOperator<JSONObject> mainStream = messageStream.rebalance()
.map(new MapFunction<String, JSONObject>() {
private stat
浏览 6提问于2016-11-15得票数 1
我有一个基本用于通过rm命令删除数据的数据，如下所示。 ttmv516,19/05/21,03:59,00-mins,dvcm,dvcm 166820 4.1 0.0 4212 736 ? DN 03:59 0:01 rm -rf /dv/project/agile/mce_dev_folic/test/install.asan/install,/dv/svgwwt/commander/workspace4/dvfcronrun_IL-SFV-RHEL6.5-K4_kinite_agile_invoke_dvfcronrun_at_given_site_50322 我在这上面使用了下面的lo
浏览 17提问于2019-05-21得票数 1
回答已采纳
2回答
我正在尝试配置logstash来管理我的各种日志源，其中一个是Mongrel2。Mongrel2使用的格式是tnetstring，其中日志消息将采用以下形式
86:9:localhost,12:192.168.33.1,5:57089#10:1411396297#3:GET,1:/,8:HTTP/1.1,3:200#6:145978#]
我想编写我自己的grok模式，从上面的格式中提取某些字段。我首先在上面的消息上测试我的regex，regex是
^(?:[^:]*\:){2}([^,]*)
这与localhost相匹配。当我在表单中使用与grok模式相同的正则表达式时
TEST ^(?:[^
浏览 4提问于2014-09-24得票数 1
回答已采纳
2回答
我有一个这样的日志： ERROR_MESSAGE:Invalid Credentials,THROTTLED_OUT_REASON:API_LIMIT_EXCEEDED 我正在尝试使用grok调试器用grok解析它： ERROR_MESSAGE:%{GREEDYDATA:errorMassage},THROTTLED_OUT_REASON:%{GREEDYDATA:throttledOutReason} 它可以工作，但有时日志没有THROTTLED_OUT_REASON字段。 ERROR_MESSAGE:%{GREEDYDATA:errorMassage} 在这种情况下，我尝试了下面的代码，
浏览 26提问于2019-06-14得票数 0
回答已采纳
我正在输入一个名为text的字段。这个字段有时可能包含一个网址，我想要做的是从文本中提取网址，并将它们放入一个名为URL.What的新字段中。
我尝试过grok，但似乎grok模式需要特定的日志格式才能工作。举个例子，下面的例子是可行的：
5546 hello www.google.com
{id} {text} {URL}
但是下面的代码不会
4324 hello my name is Ryan www.yahoo.com
{id} {text} {URL}
相反，它会将hello作为文本，而不是将www.yahoo.com作为URL。有什么办法可以解决这个问题吗？请注意，有时文本可能如下所
浏览 1提问于2015-11-08得票数 0
我是新的logstash和grok过滤器。我正在尝试使用logstash中的grok过滤器解析Apache访问日志中的字符串，其中用户名是访问日志的一部分，格式如下：
name1.name2.name3.namex.id
我想构建一个名为USERNAME的新字段，其中的name1.name2.name3.namex去掉了id。我让它工作了，但问题是名称的数量是可变的。有时有3个名称(lastname.firstname.middlename)，有时有4个名称(lastname.firstname.middlename.suffix - SMITH.GEORGE.ALLEN.JR
%{WORD:
浏览 0提问于2016-08-02得票数 1
1回答
我试图在Grok自定义模式中使用查找和前瞻性，并在Grok调试器中获取我无法解决的模式匹配错误。
这是用于归档系统日志的。我目前正试图解析后灰色应用程序。
给定的数据，如：
2019-04-09T11:41:31-05:00 67.157.192.7 postgrey: action=pass, reason=triplet found, delay=388, client_name=unknown, client_address=103.255.78.9, sender=members@domain.com, recipient=person@domain.com
我试图使用以下方法将
浏览 2提问于2019-04-10得票数 1
回答已采纳
1回答
我正在使用rspec测试我的logstash配置，以匹配基本的tomcat日志，但是当我在grok模式中指定字段时，它将失败(没有这些字段，它将成功！)。
config <<-CONFIG
filter {
grok {
patterns_dir -> "./patterns"
pattern => "%{CATALINA_DATESTAMP:logTimestamp} %{JAVACLASS} %{WORD}"
}
}
CONFIG
sample 'Jul 15, 2015 9:33:23 AM org
浏览 0提问于2015-07-17得票数 0
2回答
底部的TL;DR 我有一个自定义生成的日志文件，其中列出了用户运行的命令(以及其他一些内容)。为此，我得到了一个grok脚本，它可以成功地将消息解析为字段。当我被要求添加一些生成不同时间戳的非常旧的服务器时，我开始遇到错误。 这是新服务器上的日志： [2020-07-21 12:59:31] SERVER-DB-230 john:USER=root PWD=/root PID=[22714] CMD="echo test9" Exit=[0] CONNECTION=
[2020-07-21 12:59:33] SERVER-DB-230 john:USER=root PWD=
浏览 29提问于2020-07-21得票数 0
回答已采纳
我是logstash和grok的新手，正在尝试解析如下所示的日志：
2019-10-23 08:44:38.457 INFO 99999 [ID1=645ae2ae-a9a6-412f-b079-f0495aa9b713, ID2=62702, ID3=3e37ee7c-4e09-4924-be2f-66008dd19032] ---
2019-10-23 08:44:38.796 DEBUG 99999 [ID1=6cf44468-5baa-470b-9ee2-2aa7a74a858f] ---
2019-10-23 08:44:38.849 DEBUG 99999 [ID3=5766d6
浏览 9提问于2019-10-23得票数 0
1回答
我需要找到文件的grok模式，其中的行格式如下： 3 dbm.kfa 0 340220 7766754 93.9
3 swapper/3 0 340220 7766754 93.9 这是我到目前为止所做的grok模式。 \s*%{INT:no1}\s*%{USERNAME:name}\s*%{INT:no2}\s*%{INT:no3}\s*%{INT:no4}\s*%{GREEDYDATA:ans} 字段USERNAME适用于dbm.kfa，但不适用于swa
浏览 23提问于2020-06-28得票数 0
回答已采纳
我的日志：
(49087) Login incorrect (eap_peap: TLS Alert write:fatal:decode error): [johndoe] (from client WIFI-Control-Dev port 13 cli bb-41-e2-1c-12-12)
我使用的grok模式：
\(%{NOTSPACE:removed}\) %{DATA:AUTHWAY} (?:\(%{DATA:radius_reason}\))?: (?:\[%{DATA:username}\]) \(from client %{NOTSPACE:radius_client} po
浏览 64提问于2017-03-09得票数 0
1回答
是否可以使用grok和mutate将消息与logstash中的新字段进行匹配？
示例日志：
"<30>Dec 19 11:37:56 7f87c507df2a[20103]: [INFO] 2018-12-19 16:37:56 _internal (MainThread): 192.168.0.6 - - [19/Dec/2018 16:37:56] \"\u001b[37mGET / HTTP/1.1\u001b[0m\" 200 -\r"
我正在尝试创建一个新的键值，将container_id与7f87c507df2a进行匹配。
filter
浏览 40提问于2018-12-19得票数 2
回答已采纳
1回答
我试图从具有定义良好格式的自定义应用程序中获取日志数据。我正在尝试使用grok过滤器来挑选某些数据，但我没有任何运气。下面是一个示例日志：
- System.Data.SqlClient.SqlException (0x80131904): Arithmetic overflow error converting IDENTITY to data type int.
Arithmetic overflow occurred.
我想做的是从字符串中提取出SqlException。下面是我正在使用的grok：
grok{
match =>
{
浏览 2提问于2015-10-21得票数 0
回答已采纳
我正在使用Grok出口商找出错误行。我可以用.log文件来做这件事。但是，每当我试图对XML文件使用同样的方法时，我都不会得到想要的结果。
**
例如：-
以下是我的日志文件：-
2016/07/30 14:37:03 alice 1.5
30.07.2016 14:37:33 Adam 2.5
30.07.2016 14:43:02 bob 3.5
30.07.2016 14:45:59 Bill 4.5
31.07.2018 14:45:59 Baren 5.5
30.07.2018 14:45:59 Joe 6.5
30.0
浏览 0提问于2018-09-26得票数 0
当Haproxy提供一个日志(来自var/log/haproxy.log )时，Grok正在成功地进行解析，类似于：
May 21 08:25:56 ha haproxy[5089]: 12.3.45.67:89012 [21/May/2021:08:25:56.055] www-https~ wss/wssnode website.domain.com 1/1/1/1/111 111 111 - - ---- 11111/11111/11111/111/0 0/0 "GET /ws/site/V3L235F/d88r3567pssllp/ HTTP/1.1"
但是，如果不是i
浏览 2提问于2021-05-21得票数 0
回答已采纳
这可能是一个简单的问题，但在我的日志中，不同字段之间的空格是不确定的，这意味着在一些日志中，我可以看到两个空格，而在一些日志中，相同字段之间可以看到三个空格。我们如何在GROK中适应这一点？
浏览 1提问于2017-08-03得票数 0
1回答
我有来自使用jdbc输入插件的数据库查询的数据，查询的结果包含url字段，我想从其中提取一些属性。
示例urls：
/incident.do?sys_id=0dc18b246faa17007a64cbe64f3ee4e1&sysparm_view
/navpage_form_default.do
/u_pm_prov_project_list.do?sysparm_userpref_module=fa547ce26f661
工作:电子邮件阅读事件处理
工作:系统-减少资源
我在grok模式文件中添加了regex模式：
webpage_category
浏览 0提问于2018-05-17得票数 3
我想使用Grok模式过滤掉这个
172.20.20.88 - - [10/Nov/2018:23:49:31 +0700] "GET /id/profile.pl?user=285&device=Bg3tlX HTTP/1.1" 502 852 "-" "Go-http-client/2.0" "0.009"
我在用COMMONAPACHELOG
%{IPORHOST:clientip} %{HTTPDUSER:ident} %{USER:auth} \[%{HTTPDATE:timestamp}\] "(?:%{
浏览 0提问于2018-11-10得票数 3
回答已采纳
2回答
大家好，我是ELK和GROK模式的新手，下面是我想要创建GROK模式的日志文件行。我需要的字段在Splunk解析的‘=’之前。
01 Aug 2017 17:58:19,048 INFO ProfileAspect[{applicationSystemCode=appname, clientIP=10.x.x.x, clusterId=Cluster-Id-NA, containerId=Container-Id-NA, correlationId=536bacc1-1b50-3866-5c8c-8d0efa037f8f, domainName=defaultDomain, hostName=
浏览 27提问于2017-08-03得票数 0
新手警报！
我有以下grok过滤器：
filter {
grok {
match => [ "message","%{DATESTAMP:timestamp}" ]
match => [ "message", "(?<number_after_timestamp>[0-9]{8}\s\w+)"]
match => [ "message", "(?&
浏览 1提问于2014-10-03得票数 1
1回答
使用grok拆分消息
、、、
我有以下格式的日志：
2018-09-17 15:24:34;Count of files in error folder in;C:\Scripts\FOLDER\SUBFOLDER\error;1
我想把文件夹的路径和后面的数字放在一个单独的字段中。喜欢
dirTEST=C:\Scripts\FOLDER\SUBFOLDER\
count.of.error.filesTEST=1
或
dir=C:\Scripts\FOLDER\SUBFOLDER\
count.of.error.files=1
我在logstash配置中使用了这个grok模式：
if "TestLogs"
浏览 0提问于2018-09-18得票数 0
我正在尝试设置一个GROK模式来捕获nginx错误日志，但内容是可变的。例如，如果没有referrer，则只需将该值留在行尾：
2018/08/30 09:30:32 [error] 84843#0: *24414687217 open() "/www/sites/js/draw.js" failed (2: No such file or directory), client: 172.68.211.134, server: www.example.com, request: "GET /bundles/app/js/draw.js HTTP/1.1", ho
浏览 22提问于2018-09-01得票数 1
回答已采纳
我在logstash.config中尝试使用以下正则表达式从字段中提取一个部分字符串，
{
"_index": "logstash-2016.08.09",
"_type": "log",
"_id": "AVZvz2ix",
"_score": null,
"_source": {
"message": "function_name~execute||line_no~128||debug_message~id wa
浏览 3提问于2016-08-16得票数 0
回答已采纳
我有一个nginx错误日志的grok模式：
(?<timestamp>%{YEAR}[./]%{MONTHNUM}[./]%{MONTHDAY} %{TIME}) \[%{LOGLEVEL:severity}\] %{POSINT:pid}#%{NUMBER:threadid}\: \*%{NUMBER:connectionid} %{GREEDYDATA:text}, client: %{IP:client}, server: %{GREEDYDATA:server}, request: \"(?:%{WORD:requesttype} %{NOTSPACE:reques
浏览 1提问于2022-01-17得票数 0
回答已采纳
1回答
我有一个logstash管道，它从apache日志条目中提取日期并将其保存在一个新的字段中：
date {
match => [ "timestamp" , "dd/MMM/yyyy:HH:mm:ss Z" ]
target => "@apache_timestamp"
}
我还希望能够将此日期的部分提取到单独的字段中，用于一些特定的报告。
我尝试在日志中的新日期字段上使用date插件：
date {
match => ["@apache_timestamp" , "dd/MMM/yyyy:H
浏览 2提问于2018-01-10得票数 0
回答已采纳
1回答
我有一些数据库日志文件，我想解析，这样我就可以在logstash中输入它们。我构建了一个grok模式来解析它们，但坦白地说，我不太精通grock或regex，我想问一下，我所做的工作是否可以以某种方式得到简化/优化。
日志示例：
system_info : Calculator1_Global@HKGL1V5KY33 (23572.00000000000A668B0)：2020/10/14-15:43:17.975 : GridTaskProcessor::mainThreadRun()：路由标准: GridServiceName = SophisMonteCarlo system_warn
浏览 5提问于2021-08-14得票数 1
希望在不同的字段中使用grok拆分以下cookie信息。
案例1
id=279ddd995;+user=Demo;+country=GB
输出
{ "id"：“279 ddd995”，"user"："Demo"，"country"："GB"，}
浏览 5提问于2016-04-07得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
