首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >ELK+Kafka学习笔记之FileBeat日志合并配置输出到kafka集群

ELK+Kafka学习笔记之FileBeat日志合并配置输出到kafka集群

作者头像
Jetpropelledsnake21
发布2018-12-24 10:02:05
1K0
发布2018-12-24 10:02:05
举报
文章被收录于专栏:JetpropelledSnakeJetpropelledSnake
filebeat.prospectors:

- type: log               #日志输出类型
  enabled: true                                                           
  paths:                  #定义收集日志的目录 
    - /data/apps/logs/test1/*
  fields:                 #自定义的两个字段,区分日志类型及host
        type: test1
        host: 161


  ignore_older: 1h        #忽略一小时以为的日志变化

  multiline.pattern: '(WARN|DEBUG|ERROR|INFO) \d{4}/\d{2}/\d{2}'             #正则匹配 符合的日志文件.
  multiline.negate: true              #为true,表示不满足正则匹配条件的日志
  multiline.match: after              #after 追加到文件后面


filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml

  reload.enabled: false

setup.template.settings:
  index.number_of_shards: 3

output.kafka:
    enabled: true
    hosts: ["192.168.0.11:9092","192.168.0.12:9092","192.168.0.13:9092"]
    topic: "test-log"

注:multiline字段,必须每个日志类型一个,不然日志不会合并.(坑)

样例图:

参考

本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2018-12-05 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 参考
相关产品与服务
消息队列 CKafka 版
消息队列 CKafka 版(TDMQ for CKafka)是一个分布式、高吞吐量、高可扩展性的消息系统,100%兼容开源 Kafka API 2.4、2.8、3.2 版本。CKafka 基于发布/订阅模式,通过消息解耦,使生产者和消费者异步交互,无需彼此等待。CKafka 具有高可用、数据压缩、同时支持离线和实时数据处理等优点,适用于日志压缩收集、监控数据聚合、流式数据集成等场景。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档