(Logstash)ELK stack 权威指南 笔记

ELK stack:elasticsearch logstash kibana logstash 需要安装java yum安装

image.png

命令行方式：logstash -e 'input{stdin{}}output{stdout{codec=>rubydebug}}' 配置文件：logstash.conf input{ stdin{} } output{ stdout{ codec=>rubydebug{} } elasticsearch{ embedded=>true } } //logstash -f logstash.conf

-t 解析语法 -l 记录到日志 -w 5 用5个线程运行 -v 输出调试日志

插件安装： p'lugin install xx plugin update xx

/dev/null 2>&1

file(FileWatch) 插件的配置： path 路径 discover_interval 几秒检查，默认15秒 exclude start_position begining ：默认是tail -F,需要设置成begining *表示递归所有子目录== //

tcp/udp插件 syslog插件： syslog{ port => '514' } TCP插件和filter插件实现syslog效果

image.png

collected插件 -- logstash数据流方向：input|decode|filter|encode|output nginx作为logstash输入流

image.png

multiline插件

image.png

logstash-filter-date插件

image.png

joda时间格式

image.png

时间转换

image.png

grok正则插件

image.png

geoip插件:IP归属地查询

image.png

image.png

logstash-filter-kv 插件，处理key-value日志

logstash-filter-metrics 插件;

image.png

logstash-filter-mutate:类型转换、字符串处理、字段处理

image.png

image.png

image.png

image.png

split 插件

image.png

输出插件：elasticsearch

image.png

输出插件：发送email

image.png

调用系统命令

image.png

输出，保存到文件

image.png

发送告警到nagios里

image.png

标准输出

image.png

image.png

HDFS

image.png

image.png