关于Logstash中grok插件的正则表达式例子

一、前言

近期需要对Nginx产生的日志进行采集,问了下度娘,业内最著名的解决方案非ELK(Elasticsearch, Logstash, Kibana)莫属。

Logstash负责采集日志,Elasticsearch负责存储、索引日志,Kibana则负责通过Web形式展现日志。

今天,我要说的是Logstash,它可以从多种渠道采集数据,包括控制台标准输入、日志文件、队列等等,只要你能想到,都可以通过插件的方式实现。

其中,日志源提供的日志格式可能并不是我们想要插入存储介质里的格式,所以,Logstash里提供了一系列的filter来让我们转换日志

Grok就是这些filters里最重要的一个插件,下面我就说说它。

二、Grok提供的常用Patterns说明及举例

大多数Linux使用人员都有过用正则表达式来查询机器中相关文件或文件里内容的经历,在Grok里,我们也是使用正则表达式来识别日志里的相关数据块。

有两种方式来使用正则表达式:

  1. 直接写正则来匹配
  2. 用Grok表达式映射正则来匹配

在我看来,每次重新写正则是一件很痛苦的事情,为什么不用表达式来一劳永逸呢?

特别提示:Grok表达式很像C语言里的宏定义

要学习Grok的默认表达式,我们就要找到它的具体配置路径,路径如下:

# Windows下路径
[你的logstash安装路径]\vendor\bundle\jruby\x.x\gems\logstash-patterns-core-x.x.x\patterns\grok-patterns

现在对常用的表达式进行说明:

2.1 常用表达式

USERNAME 或 USER

用户名,由数字、大小写及特殊字符(._-)组成的字符串

比如:1234BobAlex.Wong

EMAILLOCALPART

电子邮件用户名部分,首位由大小写字母组成,其他位由数字、大小写及特殊字符(_.+-=:)组成的字符串。注意,国内的QQ纯数字邮箱账号是无法匹配的,需要修改正则

比如:stoneGary_Luabc-123

EMAILADDRESS

电子邮件

比如:stone@abc.comGary_Lu@gmail.comabc-123@163.com

HTTPDUSER

Apache服务器的用户,可以是EMAILADDRESSUSERNAME

INT

整数,包括0和正负整数

比如:0-12343987

BASE10NUM 或 NUMBER

十进制数字,包括整数和小数

比如:0185.23

BASE16NUM

十六进制数字,整数

比如:0x0045fa2d-0x3F8709

BASE16FLOAT

十六进制数字,整数和小数

WORD

字符串,包括数字和大小写字母

比如:String3529345ILoveYou

NOTSPACE

不带任何空格的字符串

SPACE

空格字符串

QUOTEDSTRING 或 QS

带引号的字符串

比如:"This is an apple"'What is your name?'

UUID

标准UUID

比如:550E8400-E29B-11D4-A716-446655440000

MAC

MAC地址,可以是Cisco设备里的MAC地址,也可以是通用或者Windows系统的MAC地址

IP

IP地址,IPv4或IPv6地址

比如:127.0.0.1FE80:0000:0000:0000:AAAA:0000:00C2:0002

HOSTNAME

主机名称

IPORHOST

IP或者主机名称

HOSTPORT

主机名(IP)+端口

比如:127.0.0.1:3306api.stozen.net:8000

PATH

路径,Unix系统或者Windows系统里的路径格式

比如:/usr/local/nginx/sbin/nginxc:\windows\system32\clr.exe

URIPROTO

URI协议

比如:httpftp

URIHOST

URI主机

比如:www.stozen.net10.0.0.1:22

URIPATH

URI路径

比如://www.stozen.net/abc//api.php

URIPARAM

URI里的GET参数

比如:?a=1&b=2&c=3

URIPATHPARAM

URI路径+GET参数

比如://www.stozen.net/abc/api.php?a=1&b=2&c=3

URI

完整的URI

比如:http://www.stozen.net/abc/api.php?a=1&b=2&c=3

2.2 日期时间表达式

MONTH

月份名称

比如:JanJanuary

MONTHNUM

月份数字

比如:03912

MONTHDAY

日期数字

比如:03931

DAY

星期几名称

比如:MonMonday

YEAR

年份数字

HOUR

小时数字

MINUTE

分钟数字

SECOND

秒数字

TIME

时间

比如:00:01:23

DATE_US

美国日期格式

比如:10-15-198210/15/1982

DATE_EU

欧洲日期格式

比如:15-10-198215/10/198215.10.1982

ISO8601_TIMEZONE

ISO8601时间格式

比如:+10:23-1023

TIMESTAMP_ISO8601

ISO8601时间戳格式

比如:2016-07-03T00:34:06+08:00

DATE

日期,美国日期%{DATE_US}或者欧洲日期%{DATE_EU}

DATESTAMP

完整日期+时间

比如:07-03-2016 00:34:06

HTTPDATE

http默认日期格式

比如:03/Jul/2016:00:36:53 +0800

2.3 Log表达式

LOGLEVEL

日志等级

比如:AlertalertALERTError

三、创建自己的Grok表达式

在业务领域中,可能会有越来越多的日志格式出现在我们眼前,而Grok的默认表达式显然已无法满足我们的需求(比如用户身份证号、手机号等信息),所以,我们需要自己动手添加些表达式。

表达式

正则表达式

说明

DATE_CHS

%{YEAR}[./-]%{MONTHNUM}[./-]%{MONTHDAY}

中国人习惯的日期格式

ZIPCODE_CHS

[1-9]d{5}

国内邮政编码

GAME_ACCOUNT

a-zA-Z{4,15}

游戏账号,首字符为字母,4-15位字母、数字、下划线组成

还有很多,需要您在业务中灵活运用!

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Java3y

【Java】几道让你拿offer的面试题

之前在刷博客的时候,发现一些写得比较好的博客都会默默收藏起来。最近在查阅补漏,有的知识点比较重要的,但是在之前的博客中还没有写到,于是趁着闲整理一下。

3080
来自专栏编程

云平台渗透之-python shell获取root权限

2018年的第一天,祝大家365天元气满满! 话不多说,先打响新年第一炮(不好意思,我又污了=.=) ***本系列内容仅用于技术分享,请勿对号入座*** 之前有...

3325
来自专栏数据和云

崔华:Oracle 里的哈希连接原理解析

崔华,网名 dbsnake Oracle ACE Director,ACOUG 核心专家 编辑手记:感谢崔华授权我们独家转载其精品文章,也欢迎大家向“Oracl...

3455
来自专栏java一日一条

你应该学习正则表达式

Regular Expressions (Regex):正则表达式,软件工程中最为强大,且广泛适用,令人信服的技术之一。从验证电子邮件地址到执行复杂的代码重构器...

1152
来自专栏玄魂工作室

PHP代码审计Day1 - in_array函数缺陷

--------------------------------------------------------------------------------...

1861
来自专栏菩提树下的杨过

ORM中的继承关系映射全解——单表继承体系、一实体一具体表、一实体一扩展表、接口映射

实体继承是基于OO和关系型数据库软件系统设计中的一个重要主题。本文通过基于NBear的实例解析ORM中的实体继承体系映射的方方面面。 本文涉及的内容包括: 1....

2389
来自专栏有趣的django

PYTHON面试

大部分的面试问题,有最近要找事的老铁吗?  python语法以及其他基础部分 可变与不可变类型;  浅拷贝与深拷贝的实现方式、区别;deepcopy如果你来...

6237
来自专栏安恒网络空间安全讲武堂

记一次JS木马分析

记一次JS木马分析 0x00 前言 随着 javascript 这类脚本语言的快速发展,它能展现的内容越来越多样,所运用的功能变得越来越强大。当运用在 web ...

4078
来自专栏数据小魔方

R语言数据处理——数据合并与追加

数据结构的塑造是数据可视化前重要的一环,虽说本公众号重心在于数据可视化,可是涉及到一些至关重要的数据整合技巧,还是有必要跟大家分享一下的。 在可视化前的数据处理...

3419
来自专栏喔家ArchiSelf

全栈Python 编程必备

Python作为一种编程语言,被称为“胶水语言”,更被拥趸们誉为“最美丽”的编程语言,从云端到客户端,再到物联网终端,无所不在,同时还是人工智能优选的编程语言。

3085

扫码关注云+社区