创建 Filebeat 采集日志文件

最近更新时间:2021-10-25 15:19:01

对于需要采集并分析腾讯云 CVM 服务日志的场景,可以使用 Filebeat 采集数据,再发送到腾讯云 Logstash 中进行过滤与预处理,最终传输到腾讯云 Elasticsearch 集群中进行存储,之后可以在 Kibana 中查询并分析日志。本文介绍如何配置 Filebeat 采集部署在腾讯云 CVM 中的服务日志。

应用场景

Filebeat 是一个轻量型的日志采集器,可以轻松地采集云上的 CVM 的日志,从而使得查询或者分析业务服务端的日志变得简单。

  • Filebeat 能够逐行读取并发送日志,支持在出现中断的情况下,记录中断时读取到的文件位置信息,后续恢复正常后可以从中断前停止的位置继续开始。
  • Filebeat 非常适合采集 nginx、apache 以及容器服务的日志,并且提供可以直接引用的配置模板,极大的简化了这类服务的日志采集过程。

操作须知

  1. 腾讯云 CVM 实例、腾讯云 ES 集群和 Logstash 实例,必须在同一 VPC 下。且腾讯云 ES 集群和 Logstash 实例的大版本相同。
    注意:

    Beats 目前仅支持64位的 Linux 操作系统。

  2. 腾讯云 CVM 实例必须安装自动化助手,仅支持为已安装自动化助手的 CVM 实例下发采集器配置。具体操作参见 安装自动化助手客户端

操作步骤

Filebeat 采集器配置

  1. 登录 Elasticsearch Service 控制台 Beats 管理界面,授权服务相关角色,单击创建 Filebeat 采集器。
  2. 在创建 Filebeat 采集器中,设置采集器信息。
    • 配置 Filebeat 采集器,输入或选择采集器配置信息。完成后单击下一步
      • 采集器名称:自定义采集器的名称,格式为1个 - 50个英文、汉字、数字、连接线(-)或下划线(_)。
      • 安装版本:支持6.8.15或7.10.2版本。
      • 采集器输出:采集的数据支持传送到腾讯云 Elasticsearch 集群与 Logstash 实例,请选择与需采集数据的 CVM 在同一 VPC 下的 ES 集群和 Logstash 实例。不支持输出至开源版 ES 集群。
      • 用户名密码:若选择输出采集数据到开启用户登录认证的 ES 集群,需要填写用户名和密码,使得 Filebeat 有权限向 ES 集群中写入数据。用户名默认为 elastic,密码为集群创建时设置。
      • Monitoring:勾选后生成监控 Filebeat 的相关指标。当采集器输出为 ES 集群时,Monitoring 默认使用和采集器输出相同的 ES 集群;当采集器输出为 Logstash 实例时,则需要在配置文件中额外添加用于存储监控数据的 ES 集群地址。
      • Kibana Dashboard:勾选后生成默认的 Kibana Dashboard。
      • 采集器 YML 配置:配置内容如下,更多 YML 配置请参考官方文档 Configure input
        • type:输入类型,默认为 log,还有 tcp、syslog、stdin 等可选。
        • paths:日志文件路径,需要填写为 CVM 中日志文件的绝对路径。
        • enabled:是否启用该 input 配置,true 为启用,false 则为不启用。
    • 将采集器安装到 CVM 实例。选择要安装采集器的 CVM 实例,完成后单击确定启用
      • CVM 必须安装自动化助手,仅支持为已安装自动化助手的 CVM 实例下发采集器配置。
      • 仅支持选择和采集器输出在同一 VPC 下的 CVM 实例进行安装,若无法找到目标 CVM 实例,需要更改采集器输出。
  3. 单击确定启用后,跳转到 Beats 采集器管理界面,可以查看 Heartbeat 采集器运行状态,显示“正常”则表示采集器安装成功。支持 修改采集器配置管理 CVM 实例

Logstash 管道配置

如需将采集的日志数据传送到腾讯云 Logstash 实例,可参考 接收 Filebeat 发送的数据并写入到 Elasticsearch 配置 logstash 管道。

Kibana 查看结果

  1. 登录腾讯云 Kibana 控制台。
  2. 左侧导航栏单击 Dev Tool,执行下述语句,查看采集成功的数据。
    GET filebeat-7.10.2/_search
目录