首页
学习
活动
专区
工具
TVP
发布
社区首页 >问答首页 >如何使用regex从logstash中的字段键中删除前缀下划线

如何使用regex从logstash中的字段键中删除前缀下划线
EN

Stack Overflow用户
提问于 2018-05-31 17:19:57
回答 3查看 2.2K关注 0票数 2

由于Kibana需要字段键中的前缀下划线- link (此问题似乎未解决),我无法在Kiabana中处理默认起始下划线的字段键值(例如docker的日志日志)。我目前正在使用logstash将日志推送到elasticsearch。我读到了这个使用拼音过滤器删除所有下划线answer,但我猜这种方法会让我的消费者变得非常慢。

有没有一种方法可以使用logstash中的regex功能从所有字段名中删除前缀下划线?

例如:

代码语言:javascript
复制
_HELO: World

现在应该更改为:

代码语言:javascript
复制
HELLO: World

可能是通过使用与ruby不同的插件

EN

回答 3

Stack Overflow用户

发布于 2018-06-05 12:53:11

您可以使用kv filter通过正则表达式从键中删除前缀。它帮助自动解析foo=bar类型的消息(或特定的事件字段),并具有用于从键中删除字符串的配置选项remove_char_key

例如,这将从密钥中删除<>[, ],字符

代码语言:javascript
复制
filter {
  kv {
    remove_char_key => "<>\[\],"
  }
}

另一个选项是remove_char_value,它可用于从值中删除字符

例如,这将从值中删除<>[, ],字符

代码语言:javascript
复制
filter {
  kv {
    remove_char_value => "<>\[\],"
  }
}

这些可与source一起使用,以在上执行key=value搜索

代码语言:javascript
复制
filter { 
  kv { 
    source => "message" 
    remove_char_value => "<>\[\],"
    remove_char_key => "<>\[\],"
  } 
}

请同时查看trim_keytrim_value选项

票数 1
EN

Stack Overflow用户

发布于 2018-05-31 17:49:45

如果您只想删除名为fieldname的字段的第一个字符的下划线,您可以使用:

代码语言:javascript
复制
  mutate {
    gsub => [
      "fieldname", "^_", ""
    ]
  }

请参阅https://www.elastic.co/guide/en/logstash/current/plugins-filters-mutate.html#plugins-filters-mutate-gsub

票数 0
EN

Stack Overflow用户

发布于 2018-06-04 22:02:43

您将需要求助于ruby过滤器,该过滤器查找以_开头的关键字,并基本上重命名它们(将值复制到新关键字,然后删除原始关键字):

代码语言:javascript
复制
filter {
  ruby {
    code => "
      event.to_hash.keys.each { |k|
         if k.start_with?('_')
          event.set(k[1,-1],event.get(k))
          event.remove(k)
       end
     }
   "
  }
}
票数 -1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/50620819

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档