使用filebeat收集ES集群运行日志和慢日志并写入到ES

背景

Elasticsearch集群运行过程中,运行日志和慢日志能够帮助集群使用者迅速定位出现的问题。鉴于Elasticsearch的一大应用场景是日志收集,因此我们尝试使用filebeat收集Elasticsearch集群各节点中的运行日志和慢日志,并写入到另一个公共的Elasticsearch集群中,使用Kibana进行日志检索。

为什么是filebeat

filebeat归属于Beats家族,使用go语言开发,是一个轻量的日志收集器,因为轻量所以适用于部署在需要收集日志的服务器中。相比之下,另一个可用于日志收集的logstash组件就比较笨重了,运行于JVM中,占用服务器资源比filebeat多,所以不适用直接部署在服务器中,但是logstash对已采集数据的清洗、过滤等处理能力要比filebeat强。通常的日至系统架构中,将filebeat部署在服务器中用于收集日志,然后写入到单独部署的logstash集群中,经logstash对日志内容进行统一处理之后,再写入到Elasticsearch集群中去。

实战过程

Elasticsearch集群运行日志和慢日志内容分析

首先要分析一下要收集的日志格式,确定日志每一行记录的固定pattern,以及是否要对日志内容进行解析,提取重要字段或者过滤一些无用的字段。

以下是Elasticsearch集群的运行日志和慢日志示例(5.6.4版本):

运行日志:

[2018-10-23T20:42:37,451][INFO ][o.e.h.n.Netty4HttpServerTransport] [1540298502000001009] publish_address {10.0.64.80:16703}, bound_addresses {0.0.0.0:16703}
[2018-10-23T20:42:37,451][INFO ][o.e.n.Node               ] [1540298502000001009] started
[2018-10-23T20:42:37,463][INFO ][o.e.g.GatewayService     ] [1540298502000001009] recovered [0] indices into cluster_state

慢日志:

[2018-10-28T12:04:17,307][WARN ][index.indexing.slowlog.index] [1540298502000001009] [pmc/wCALr6BfRm-sr3qOQuGX
Xw] took[18.6ms], took_millis[18], type[articles], id[AWa41-J9c0s1mOPvR6F3], routing[] , source[]

从以上日志内容可以看出,运行日志是的格式为"时间戳类名日志详细信息", 慢日志的格式为"时间戳日志类别日志详细信息"。

需要完成的解析工作为:

  1. 解析出时间戳,并替换默认的@timestamp字段,并且保证时区为中国时间
  2. 解析出日志级别,作为一个单独的字段,便于检索
  3. 每一行日志中去除已经解析的时间戳和日志字段
  4. 解析出异常日志,与异常日志的前一行合并作为一条记录
  5. 为了节省存储空间,去除filebeat默认增加的beat.name,beat.version,beat.host等无关紧要的字段

定义日志解析pipeline

filebeat对收集到的日志处理能力是比较弱的,并且为了提高日志收集性能,一般不在filebeat中进行日志内容的处理,可以借助于logstash强大的日志处理能力或者Elasticsearch的ingest pipeline功能对日志内容进行处理。

Elasticsearch的ingest pipeline可查阅官方文档了解更多ingest api.

基于上一节定义的五项日志处理工作,前三项可以由ingest pipeline解决,下面定义名为es-log-pipeline的pipeline:

{
  "description": "es-log-pipeline",
  "processors": [{
    "grok": {
      "field": "message",
      "patterns": [
        "^(?m)\\[%{TIMESTAMP_ISO8601:timestamp}\\]\\[%{LOGLEVEL:level}%{SPACE}\\]%{GREEDYDATA:message}"
      ]
    },
    "remove": {
      "field": "@timestamp"
    }
  }, {
    "date": {
      "field": "timestamp",
      "formats": ["ISO8601"],
      "timezone": "Asia/Shanghai",
      "ignore_failure": true
    },
    "remove": {
      "field": "timestamp"
    }
  }],
  "on_failure": [{
    "set": {
      "field": "error.message",
      "value": "{{ _ingest.on_failure_message }}"
    }
  }]
}

主要使用了grok processors进行日志解析,解析出了日志中的时间戳字段和日志级别字段,并将时间戳替换为filebeat默认提供的@timestamp字段。

调用Elasticsearch 的ingest API创建上述pipeline:

curl -X PUT _ingest/pipeline/es-log-pipeline

定义filebeat配置

日志解析工作的4和5两项可以由filebeat处理,定义filebeat.yml配置文件:

filebeat.prospectors:
- input_type: log
  paths:
    - {{.runlogPath}}
  fields:
    type: "runlog"
    ip: "{{.ip}}"
  fields_under_root: true
  multiline.pattern: '^\[[0-9]{4}-[0-9]{2}-[0-9]{2}'
  multiline.negate: true
  multiline.match: after
- input_type: log
  paths:
    - {{.searchSlowlogPath}}
  fields:
    type: "slowlog"
    logtype: "search"
    ip: "{{.ip}}"
  fields_under_root: true
  multiline.pattern: '^\[[0-9]{4}-[0-9]{2}-[0-9]{2}'
  multiline.negate: true
  multiline.match: after
- input_type: log
  paths:
    - {{.indexSlowLogPath}}
  fields:
    type: "slowlog"
    logtype: "indexing"
    ip: "{{.ip}}"
  fields_under_root: true
  multiline.pattern: '^\[[0-9]{4}-[0-9]{2}-[0-9]{2}'
  multiline.negate: true
  multiline.match: after

processors:
- drop_fields:
     fields: ["beat", "offset", "source"]

output.elasticsearch:
  hosts: ["{{.esEndPoint}}"]
  index: "es-%{[type]}-%{+yyyy.MM.dd}"
  pipeline: "es-log-pipeline"

上述配置按天创建了两个索引,分别为es-runlog-%{+yyyy.MM.dd}和es-slowlog-%{+yyyy.MM.dd},分别存储运行日志和慢日志。

经过上述配置,启动filebeat, 就可以实现收集Elasticsearch集群的运行日志和慢日志并写入到另外一个Elasticsearch集群中。

总结

  1. 日志格式解析的工作比较繁琐,需要详细了解grok processor的处理能力grok processor
  2. filebeat目录下有名为filebeat.template.json的文件,该文件定义了filebeat的默认模板,如果需要可以修改该模板配置文件或者自定义新模板。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏云计算教程系列

[快速入门]如何在Ubuntu 18.04上安装Apache Web服务器

Apache HTTP服务器是世界上使用最广泛的Web服务器。它提供了许多强大的功能,包括可动态加载的模块,强大的媒体支持以及与其他流行软件的广泛集成。

77100
来自专栏好好学java的技术栈

「文末赠书」http协议简介看这篇就够了

协议,网络协议的简称,网络协议是通信计算机双方必须共同遵从的一组约定。如怎么样建立连接、怎么样互相识别等。只有遵守这个约定,计算机之间才能相互通信交流。它的三要...

9930
来自专栏MixLab科技+设计实验室

如何用浏览器看雪?Chrome扩展开发

朋友圈都在晒下雪,今天,MixLab 教大家如何在屏幕上看雪。 使用 chrome 的扩展,注入下雪的代码到任意网页,如下图: ? ? ? ? ? 如何实现的...

31270
来自专栏JetpropelledSnake

ELK学习笔记之ELK架构与介绍

一般我们需要进行日志分析场景:直接在日志文件中 grep、awk 就可以获得自己想要的信息。但在规模较大的场景中,此方法效率低下,面临问题包括日志量太大如何归档...

35930
来自专栏建站达人秀

如何搭建 nginx 静态网站

Nginx是一款面向性能设计的HTTP服务器,相较于Apache、lighttpd具有占有内存少,稳定性高等优势。Nginx不采用每客户机一线程的设计模型,而是...

1K40
来自专栏LIN_ZONE

ubuntu下apache新建虚拟主机

最近发现在一个服务器上面布了一些项目,如果不用虚拟主机,用链接跳进去的话,有时候路径会出错,而自己在配置虚拟主机的时候又出现了一些问题,看似简单的东西,却花费了...

12530
来自专栏Python研发

Winserver+Apache+django部署

winserver2012 + django2.0.1 + apache 部署过程

47510
来自专栏SDNLAB

“访问限制”&“代理访问”实验

前言: 第三届SDN创新大赛又悄悄临近了,第二届大赛时做的题目积压在电脑里实在可惜,因此简单整理,拿出来和大家分享,从代码到实验过程,比较详尽,可以供初学者参考...

405100
来自专栏从零开始的linux

部署elk平台

说明 对于ELK部署使用而言,下面是一个再常见不过的架构了 Redis:接收用户日志的消息队列。 Logstash:做日志解析,统一成JSON输出给Elasti...

61830
来自专栏腾讯云Elasticsearch Service

当Elasticsearch遇见Kafka--Kafka Connect

在“当Elasticsearch遇见Kafka--Logstash kafka input插件”一文中,我对Logstash的Kafka input插件进行了简...

6.7K100

扫码关注云+社区

领取腾讯云代金券