filebeat 7.4 codec.format 变量配置方法
filebeat 7.4 codec.format 变量配置方法
无论你是使用哪个版本的filebeat,当你的output.xx中需要配置code.cormat的变量，最开始是从官网上查询，后来发现有个更方便的方法； 重点就是codec.format中的变量都是从已经生成json的对象中获取，就是信息和元数据都已经生成好准备output目标；
- 打印
output的json数据
{
"@timestamp":"2019-11-19T06:42:34.222Z",
"@metadata":{
"beat":"filebeat",
"type":"_doc",
"version":"7.4.2",
"topic":"xxx-click"
},
"host":{
"name":"eeexx-asdddd"
},
"agent":{
"version":"7.4.2",
"type":"filebeat",
"ephemeral_id":"3969b5f3-9aa2-4c5a-b8bd-971017f480c5",
"hostname":"eeexx-asdddd",
"id":"10b92cfc-b641-4dde-a72f-a599e178e05d"
},
"log":{
"offset":48845307,
"file":{
"path":"/Log-xxxx.log"
}
},
"message":"2019-11-19 14:42:33.830 INFO .0 (iPhone; CPU iPhone OS 13_1_3 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Mobile/15E148" "" """,
"input":{
"type":"log"
},
"fields":{
"log_topic":"xxx-click"
},
"ecs":{
"version":"1.1.0"
}
}- 根据你所需要的配置
codec.format
output.kafka:
codec.format: '%{[fields.log_topic]} %{[agent.hostname]}' output.kafka 输出信息异常
`client/metadata fetching metadata for [xx-play] from broker 172.16.xx.xx:9092 kafka message: client/metadata found some partitions to be leaderless` 异常信息
- 异常原因
kafka中没有创建xx-play topic创建好之后就能正常输出到topic - 发生这样异常信息时，如果有多个
output也会有影响，不能正常out信息
本文参与 腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。
如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读
目录
腾讯云开发者
