logstash之input配置file类型详解

监听文件变化,记录一个.sincedb的数据库文件跟踪监听文件读取位置(记录的是时间戳)

配置案例
input {
 file {
 path => ["/data/test/test/*.log"]
 type => "demo-log"
 start_position => "beginning"
 }
}
output {
 stdout{
 codec=>rubydebug
 }
}
检查配置
bin/logstash -f /etc/logstash/conf.d/demo.conf -t
启动
bin/logstash -f /etc/logstash/conf.d/demo.conf
测试
在/data/test/test/目录建立1.log文件,然后执行
echo `date` >> /data/test/test/1.log
观察
{
          "path" => "/data/test/test/1.log",
    "@timestamp" => 2017-06-12T06:43:15.742Z,
      "@version" => "1",
          "host" => "192-168-56-201",
       "message" => "Mon Jun 12 06:43:15 UTC 2017",
          "type" => "demo-log"
}

配置说明
path 	监听文件绝对路径,可以使用字符串或数组
excude 	排除不监听的文件,可以使用字符串或者数组
type 	事件添加分类字段 
start_position 	只能是"beginning"或者"end",默认是end,end类似tail -f;beginning是从文件开头开始(导入历史数据)
stat_interval 	每隔多久检查一次文件变化,默认1s
add_field		新增一个字段
tags			用于增加一些标签,这个标签可能在后续的处理中起到标志的作用
delimiter		分行标识
discover_interval 每隔多久检查是否有新文件,默认15s
close_older		如果监听的文件达到设置的时间内未改动则关闭文件句柄,默认3600
ignore_older	在每次检查文件列表的时候,如果一个文件的最后修改时间超过这个值,就忽略这个文件。默认是 86400 秒
sincedb_path	记录读取文件位置
sincedb_write_interval	每隔多久写入读取文件位置信息,默认15s  

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Pythonista

Linux之文档与目录结构

Linux目录结构的组织形式和Windows有很大的不同。首先Linux没有“盘(C盘、D盘、E盘)”的概念。已经建立文件系统的硬盘分区被挂载到某一个目录下,用...

1743
来自专栏Java架构师历程

Git—具体实例讲解Git用法以及提交PR

Git作为目前比较流行的版本控制系统,被各个互联网公司广泛使用着,使用git可以很方便地进行多人协作和版本控制,大多数时候我们也需要把别人的代码进行整合和修改,...

1502
来自专栏云计算教程系列

如何在Debian 8上将log日志模块添加到Nginx

服务器管理不仅仅与服务的初始配置有关。它还涉及监督这些服务并确保它们尽可能顺利地运行。管理员最重要的知识来源之一是log日志文件,其中包含有关系统事件的信息。

1131
来自专栏Python中文社区

Linux进程监控工具Supervisor简易使用教程

專 欄 ❈ gw1770df,Python中文社区专栏作者,从事Python开发工作,全栈工程师。 博客: https://word.gw1770df.cc ...

3806
来自专栏鸿的学习笔记

日志采集技术笔记

使用Linux的rename机制保证文件写入要么成功,要么失败,绝对不能出现写了一半的情况。

3945
来自专栏企鹅号快讯

php-安全设置,做好基础安全!

0x00 隐藏php版本 expose_php=off 0x01 禁用危险的php函数 disable_functions=popen,pentl_exec,p...

2555
来自专栏IT派

看完这篇文章还能不懂Flask这种Web框架吗?

Flask是一个基于Python开发并且依赖jinja2模板和Werkzeug WSGI服务的一个微型框架,对于Werkzeug本质是Socket服务端,其用于...

902
来自专栏進无尽的文章

代码管理| 本地Git仓库和远程仓库的创建及关联

顺便说一下:Github账号创建私人项目的话需要付费,可以在码云上面创建个人私有仓库,是免费的。

2.5K2
来自专栏程序员叨叨叨

一招搞定Windows无法安装到GPT分区形式磁盘疑难

今天给堂弟的电脑重装系统时,遇到了以往USB安装系统经常出现的问题,“Windows无法安装到这个磁盘。选中的磁盘采用GPT分区形式”。之前在CSDN的博客上有...

782
来自专栏云计算教程系列

如何在CentOS 7上使用Etckeeper进行版本控制管理/ etc

在Linux生态系统中,必须定期安装,维护和升级软件。但是,仍然需要跟踪对本地配置文件所做的更改。与在进行更改之前制作配置文件副本的旧备用数据库相反,etcke...

1741

扫码关注云+社区

领取腾讯云代金券