下面是从java应用程序接收到的示例日志
2019-04-11 9:08:22:562 Log 1
2019-04-11 9:08:22:660 Log 2
2019-04-11 9:08:43:79 Log 3
2019-04-11 9:08:43:156 Log 4
从上面的日志中,我面临的问题是Log 3
的毫秒值只有79,但是在Logstash中解析之后,这个值被设置为790 ms (Logstash解析是正确的,但是java日志值是错误的)。实际上,为了进行正确的解析,日志中的值应该是2019-04-11 9:08:43:079
。
Logstash过滤器如下所示:
date {
match => [ "log_time", "yyyy-MM-dd HH:mm:ss:SSS", "ISO8601" ]
target => "log_time"
timezone => "CET"
}
深入研究后,我发现问题在于使用这种时间格式的Java,如果这种格式是yyyy-MM-dd HH:mm:ss.SSS
,就会得到解决。但是日志记录应用程序使用的格式是yyyy-MM-dd HH:mm:ss:SSS
,这导致了这个问题(注意格式:SSS
和.SSS
的不同)。
我无法更改日志记录java系统,因此是否可以使用Logstash过滤器解决此问题。
发布于 2019-04-19 04:55:21
我使用以下gsub将0前缀插入到只有2位数字的毫秒中,从而解决了这个问题:
mutate { gsub => [ "log_time", "^([0-9-]+ [0-9]+:[0-9]{2}:[0-9]{2}:)([0-9])$", "\100\2",
"log_time", "^([0-9-]+ [0-9]+:[0-9]{2}:[0-9]{2}:)([0-9]{2})$", "\10\2" ] }
得到弹性讨论群的帮助
https://stackoverflow.com/questions/55722678
复制相似问题