我在我的几个主机上安装了几乎默认的Auditbeat,这些主机也在审计/etc的更改,将日志数据转发到其他地方的Logstash实例。我希望根据这些日志生成一条消息,因为默认情况下,Auditbeat不会用值填充message字段(他们将其移动到event.original,但无论如何它都被禁用了,我希望使用我的配置尽可能接近生产环境),这样当我尝试从auditbeat-*查看日志时,Kibana会显示"failed to find message“。因此,我开始使用Logstash解析和向事件添加字段。
我遇到了一个有趣的问题:如果我查询的东西属于JSON中根目录下的任何自定义树,但
由于Kibana需要字段键中的前缀下划线- (此问题似乎未解决),我无法在Kiabana中处理默认起始下划线的字段键值(例如docker的日志日志)。我目前正在使用logstash将日志推送到elasticsearch。我读到了这个使用拼音过滤器删除所有下划线的,但我猜这种方法会让我的消费者变得非常慢。
有没有一种方法可以使用logstash中的regex功能从所有字段名中删除前缀下划线?
例如:
_HELO: World
现在应该更改为:
HELLO: World
可能是通过使用与ruby不同的插件
我在logstash聚合过滤器的帮助下处理一个日志文件,其中grok有多个模式。
现在,在处理日志时,我想用一些正则表达式提取日志的一部分,并将其存储到一个文件中。例如,假设我的日志是:
id:0422 time:[2013-11-19 02:34:58] level:INFO text:(Lorem Ipsum is simply dummy text of the printing and typesetting industry)
在这个日志中,文本每次都是不同的。我有一个正则表达式,在它的帮助下,我可以匹配在logstash中出现的文本的一部分,所以如果我在logstash索