前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >fluent-bit 按 pod 名生成不同索引

fluent-bit 按 pod 名生成不同索引

作者头像
逝兮诚
发布2021-12-06 15:45:31
1.1K0
发布2021-12-06 15:45:31
举报
文章被收录于专栏:代码人生代码人生

1. 实现效果

如果 pod 名为 prod,输出索引名为 prod-2021.01.24

EFK 版本:es 7.12, fluent-bit 1.7.5, kibana 7.12

2. 实现方式

读取日志数据中 kubernetes.labels.app 数据,根据该数据直接生产新索引。

fluent-bit 1.7 以上版本通过 output 中 Logstash_Prefix_Key 字段实现输出动态索引名

比如采集日志为

代码语言:javascript
复制
 {"key1": 1234, "kubernetes": {"labels: {"app": "prod"}}}

设置下面的 output

代码语言:javascript
复制
[OUTPUT]
         name                 es
         match                *
         logstash_format      on
         logstash_prefix_key  $kubernetes['labels']['app']

会生成索引名 prod-2021.01.24

3. 完整配置

代码语言:javascript
复制
inputs: |
    [INPUT]
        Name tail
        Path /var/log/containers/*.log
        Parser docker
        Tag kube.*
        Mem_Buf_Limit 5MB
        Skip_Long_Lines On

  ## https://docs.fluentbit.io/manual/pipeline/filters
  filters: |
    [FILTER]
        Name kubernetes
        Match kube.*
        Kube_URL https://kubernetes.default.svc:443
        Kube_CA_File /var/run/secrets/kubernetes.io/serviceaccount/ca.crt
        Kube_Token_File /var/run/secrets/kubernetes.io/serviceaccount/token
        Kube_Tag_Prefix     kube.var.log.containers.

  ## https://docs.fluentbit.io/manual/pipeline/outputs
  outputs: |
    [OUTPUT]
        Name es
        Match kube.*
        Host elasticsearch-master
        Logstash_Format On
        Logstash_Prefix log
        logstash_prefix_key  $kubernetes['labels']['app']
        Retry_Limit False
        # Trace_Error On

缺点:

只有 pod name,不能自定义加上 namespace 之类。

参考:

  1. 官方说明:https://github.com/fluent/fluent-bit/issues/421#issuecomment-766912018
本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2021-10-11 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 1. 实现效果
  • 2. 实现方式
  • 3. 完整配置
相关产品与服务
容器服务
腾讯云容器服务(Tencent Kubernetes Engine, TKE)基于原生 kubernetes 提供以容器为核心的、高度可扩展的高性能容器管理服务,覆盖 Serverless、边缘计算、分布式云等多种业务部署场景,业内首创单个集群兼容多种计算节点的容器资源管理模式。同时产品作为云原生 Finops 领先布道者,主导开源项目Crane,全面助力客户实现资源优化、成本控制。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档