grep正则获取特定内容之零宽断言

王先森sec

发布于 2023-04-24 16:45:18

2K0

文章被收录于专栏：王先森王先森

零宽断言

（匹配宽度为零，满足一定的条件/断言）零宽断言用于查找在某些内容(但并不包括这些内容)之前或之后的东西，也就是说它们像 \b ^ $ < > 这样的锚定作用，用于指定一个位置，这个位置应该满足一定的条件(即断言)，因此它们也被称为零宽断言。断言用来声明一个应该为真的事实。正则表达式中只有当断言为真时才会继续进行匹配。

四种分类

先行断言 (?=exp)//表示匹配表达式前面的位置

例如 [a-z]*(?=ing) 可以匹配 cooking 和 singing 中的 cook 与 sing

[root@boysec.cn ~]$echo "cooking singing"|grep -oP '[a-z]*(?=ing)'
cook
sing

注意：先行断言的执行步骤是这样的先从要匹配的字符串中的最右端找到第一个 ing (也就是先行断言中的表达式)然后再匹配其前面的表达式，若无法匹配则继续查找第二个 ing 再匹配第二个 ing 前面的字符串，若能匹配则匹配，符合正则的贪婪性。例如： .*(?=ing) 可以匹配 “cooking singing” 中的 “cooking sing” 而不是 cook

[root@boysec.cn ~]$echo "cooking singing"|grep -oP '.*(?=ing)'    
cooking sing

后发断言 (?<=exp) //表示匹配表达式后面的位置

例如(?<=cook).* 可以匹配 cooking singing中的ing singing

[root@boysec.cn ~]$echo "cooking singing"|grep -oP '(?<=cook).*'
ing singing

注意：后发断言跟先行断言恰恰相反它的执行步骤是这样的：先从要匹配的字符串中的最左端找到第一个abc(也就是先行断言中的表达式)然后再匹配其后面的表达式，若无法匹配则继续查找第二个abc 再匹配第二个abc后面的字符串，若能匹配则匹配

负向零宽先行断言(?!exp)

例如 (?!exp) 表示 “exp” 前面的位置，如果 “exp” 不成立，匹配这个位置；如果 “exp” 成立，则不匹配。

同样，负向零宽断言也有“先行”和“后发”两种，负向零宽后发断言为 (?<!exp)

负向零宽后发断言 (?<!exp)

负向零宽断言要注意的跟正向的一样。

grep零宽断言应用

例子1：在linux系统上面获取或者本机的IP地址

ifconfig可以看到激活的网络接口的详细信息，那么肯定我们需要借助grep来过滤出IP地址了。因为服务器有多个接口，我只关心公网IP的地址，可以看到eth下面一行显示了IP地址。

ifconfig | grep ^eth -A 1 得到如下的结果：

[root@boysec.cn ~]$ifconfig | grep ^eth -A 1
eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 172.17.198.67  netmask 255.255.240.0  broadcast 172.17.207.255

观察到ip地址的前面是inet 这几个字符，于是再来过滤

[root@boysec.cn ~]$ifconfig | grep ^eth -A 1|grep -oP 'inet\s[\d\.]+'
inet 172.17.198.67

这里我们使用了-o和-P选项，指定-o是因为grep默认是显示匹配的那一行，我们只关心精确匹配的部分而不是整行。至于-P表明后面的pattern是perl兼容正则表达式，因为pcre才支持零宽断言。可以看到结果中多了inet 这几个字符，这个时候该零宽断言大显身手了。不想要inet 这几个字符，那我们就去掉他。如下方式：

[root@boysec.cn ~]$ifconfig | grep ^eth -A 1|grep -oP '(?<=inet\s)[\d\.]+'
172.17.198.67

或

[root@boysec.cn ~]$ifconfig | grep ^eth -A 1|grep -oP '(?<=inet\s)[\S]+'
172.17.198.67

正则表达式解释：

字符	描述
\d	匹配一个数字字符。等价于[0-9]。
\S	匹配任何非空白字符。等价于[^ \f\n\r\t\v]。
\s	匹配任何空白字符，包括空格、制表符、换页符等等。等价于[ \f\n\r\t\v]
+	匹配前面的子表达式一次或多次。例如，“zo+”能匹配“zo”以及“zoo”，但不能匹配“z”。+等价于{1,}。

例子2：Nginx 日志提取

查询访问日志中那个url请求最高，因为request都是 “GET /*** HTTP/1.1″ 或 “POST /**” 这样的格式，所以可以通过简单的正则取出request，如下

[root@boysec.cn ]$grep -oP '((?<=GET\s)|(?<=POST\s))[^?\s]+' access.log |sort |uniq -c|sort -rn|head
    167 /setup.cgi
    150 /boaform/admin/formLogin
    136 /nice%20ports%2C/Tri%6Eity.txt%2ebak
    123 /static/js/search.js
     94 /images/docker.png
     94 /images/docker01.png
     92 /static/codeBlock/codeShrink.js
     91 /static/js/tocbot.min.js
     91 /static/codeBlock/codeCopy.js

IP提取：

[root@boysec.cn /application/nginx/logs]$awk '{print $1}' access.log |sort |uniq -c|sort -rn|head -5
   1762 211.136.93.46
    196 123.115.144.206
    187 123.121.8.204
    169 183.244.66.124
     70 183.244.71.140

哈哈哈，取IP还是awk方便。。。

例子3：工作特色需求

在工作遇到一个问题，是方括号，即 [ ]，取出方括号里面的内容。

示例文本：

cat test.txt  
abc[something that should be removed] is bad[another thing to remove]

需求说明：

将方括号 “ [ ] ” 里面的内容取出并显示出来！

终端命令行命令如下：

[root@boysec.cn ~]$cat test.txt | grep -oP '\[\K[^]]*'
something that should be removed
another thing to remove

字符	描述
\K	匹配尝试开始于文本之后出现的内容。

正则表达式手册

表达式全集：

字符	描述
\	将下一个字符标记为一个特殊字符、或一个原义字符、或一个向后引用、或一个八进制转义符。例如，“n”匹配字符“n”。“\n”匹配一个换行符。串行“\\”匹配“\”而“\(”则匹配“(”。
^	匹配输入字符串的开始位置。如果设置了RegExp对象的Multiline属性，^也匹配“\n”或“\r”之后的位置。
$	匹配输入字符串的结束位置。如果设置了RegExp对象的Multiline属性，$也匹配“\n”或“\r”之前的位置。
*	匹配前面的子表达式零次或多次。例如，zo能匹配“z”以及“zoo”。*等价于{0,}。
+	匹配前面的子表达式一次或多次。例如，“zo+”能匹配“zo”以及“zoo”，但不能匹配“z”。+等价于{1,}。
?	匹配前面的子表达式零次或一次。例如，“do(es)?”可以匹配“does”或“does”中的“do”。?等价于{0,1}。
{n}	n是一个非负整数。匹配确定的n次。例如，“o{2}”不能匹配“Bob”中的“o”，但是能匹配“food”中的两个o。
{n,}	n是一个非负整数。至少匹配n次。例如，“o{2,}”不能匹配“Bob”中的“o”，但能匹配“foooood”中的所有o。“o{1,}”等价于“o+”。“o{0,}”则等价于“o*”。
{n,m}	m和n均为非负整数，其中n<=m。最少匹配n次且最多匹配m次。例如，“o{1,3}”将匹配“fooooood”中的前三个o。“o{0,1}”等价于“o?”。请注意在逗号和两个数之间不能有空格。
?	当该字符紧跟在任何一个其他限制符（,+,?，{n}，{n,}，{n,m*}）后面时，匹配模式是非贪婪的。非贪婪模式尽可能少的匹配所搜索的字符串，而默认的贪婪模式则尽可能多的匹配所搜索的字符串。例如，对于字符串“oooo”，“o+?”将匹配单个“o”，而“o+”将匹配所有“o”。
.	匹配除“\n“之外的任何单个字符。要匹配包括\n在内的任何字符，请使用像”(.\|\n)”的模式。
(pattern)	匹配pattern并获取这一匹配。所获取的匹配可以从产生的Matches集合得到，在VBScript中使用SubMatches集合，在JScript中则使用$0…$9属性。要匹配圆括号字符，请使用“$”或“$”。
(?:pattern)	匹配pattern但不获取匹配结果，也就是说这是一个非获取匹配，不进行存储供以后使用。这在使用或字符(\|)来组合一个模式的各个部分是很有用。例如“industr(?:y\|ies)”就是一个比“industry\|industries”更简略的表达式。
(?=pattern)	正向肯定预查，在任何匹配pattern的字符串开始处匹配查找字符串。这是一个非获取匹配，也就是说，该匹配不需要获取供以后使用。例如，”Windows(?=95\|98\|NT\|2000)”能匹配“Windows2000”中的“Windows”，但不能匹配“Windows3.1”中的“Windows”。预查不消耗字符，也就是说，在一个匹配发生后，在最后一次匹配之后立即开始下一次匹配的搜索，而不是从包含预查的字符之后开始。
(?!pattern)	正向否定预查，在任何不匹配pattern的字符串开始处匹配查找字符串。这是一个非获取匹配，也就是说，该匹配不需要获取供以后使用。例如”Windows(?!95\|98\|NT\|2000)”能匹配“Windows3.1”中的“Windows”，但不能匹配“Windows2000”中的“Windows”。预查不消耗字符，也就是说，在一个匹配发生后，在最后一次匹配之后立即开始下一次匹配的搜索，而不是从包含预查的字符之后开始
(?<=pattern)	反向肯定预查，与正向肯定预查类拟，只是方向相反。例如，”(?<=95\|98\|NT\|2000)Windows”能匹配“2000Windows”中的“Windows”，但不能匹配“3.1Windows”中的“Windows”。
(?<!pattern)	反向否定预查，与正向否定预查类拟，只是方向相反。例如”(?<!95\|98\|NT\|2000)Windows”能匹配“3.1Windows”中的“Windows”，但不能匹配“2000Windows”中的“Windows”。
x\|y	匹配x或y。例如，“z\|food”能匹配“z”或“food”。“(z\|f)ood”则匹配“zood”或“food”。
[xyz]	字符集合。匹配所包含的任意一个字符。例如，“[abc]”可以匹配“plain”中的“a”。
[^xyz]	负值字符集合。匹配未包含的任意字符。例如，“[^abc]”可以匹配“plain”中的“p”。
[a-z]	字符范围。匹配指定范围内的任意字符。例如，“[a-z]”可以匹配“a”到“z”范围内的任意小写字母字符。
[^a-z]	负值字符范围。匹配任何不在指定范围内的任意字符。例如，“[^a-z]”可以匹配任何不在“a”到“z”范围内的任意字符。
\b	匹配一个单词边界，也就是指单词和空格间的位置。例如，“er\b”可以匹配“never”中的“er”，但不能匹配“verb”中的“er”。
\B	匹配非单词边界。“er\B”能匹配“verb”中的“er”，但不能匹配“never”中的“er”。
\cx	匹配由x指明的控制字符。例如，\cM匹配一个Control-M或回车符。x的值必须为A-Z或a-z之一。否则，将c视为一个原义的“c”字符。
\d	匹配一个数字字符。等价于[0-9]。
\D	匹配一个非数字字符。等价于[^0-9]。
\f	匹配一个换页符。等价于\x0c和\cL。
\n	匹配一个换行符。等价于\x0a和\cJ。
\r	匹配一个回车符。等价于\x0d和\cM。
\s	匹配任何空白字符，包括空格、制表符、换页符等等。等价于[ \f\n\r\t\v]。
\S	匹配任何非空白字符。等价于[^ \f\n\r\t\v]。
\t	匹配一个制表符。等价于\x09和\cI。
\v	匹配一个垂直制表符。等价于\x0b和\cK。
\w	匹配包括下划线的任何单词字符。等价于“[A-Za-z0-9_]”。
\W	匹配任何非单词字符。等价于“[^A-Za-z0-9_]”。
\xn	匹配n，其中n为十六进制转义值。十六进制转义值必须为确定的两个数字长。例如，“\x41”匹配“A”。“\x041”则等价于“\x04&1”。正则表达式中可以使用ASCII编码。.
\num	匹配num，其中num是一个正整数。对所获取的匹配的引用。例如，“(.)\1”匹配两个连续的相同字符。
\n	标识一个八进制转义值或一个向后引用。如果n之前至少n个获取的子表达式，则n为向后引用。否则，如果n为八进制数字（0-7），则n为一个八进制转义值。
\nm	标识一个八进制转义值或一个向后引用。如果nm之前至少有nm个获得子表达式，则nm为向后引用。如果\nm之前至少有n个获取，则n为一个后跟文字m的向后引用。如果前面的条件都不满足，若n和m均为八进制数字（0-7），则\nm将匹配八进制转义值nm。
\nml	如果n为八进制数字（0-3），且m和l均为八进制数字（0-7），则匹配八进制转义值nml。
\un	匹配n，其中n是一个用四个十六进制数字表示的Unicode字符。例如，\u00A9匹配版权符号（©）。

常用正则表达式：

字符	描述
用户名	/^[a-z0-9_-]{3,16}$/
密码	/^[a-z0-9_-]{6,18}$/
十六进制值	/^#?([a-f0-9]{6}\\|[a-f0-9]{3})$/
电子邮箱	/^([a-z0-9_.-]+)@([\da-z.-]+).([a-z.]{2,6})$/ /^[a-z\d]+(.[a-z\d]+)*@([\da-z](-[\da-z])?)+(.{1,2}[a-z]+)+$/
URL	/^(https?:\/\/)?([\da-z.-]+).([a-z.]{2,6})([\/\w .-])\/?$/
IP 地址	/((2[0-4]\d\|25[0-5]\|[01]?\d\d?).){3}(2[0-4]\d\|25[0-5]\|[01]?\d\d?)/ /^(?:(?:25[0-5]\|2[0-4][0-9]\|[01]?[0-9][0-9]?).){3}(?:25[0-5]\|2[0-4][0-9]\|[01]?[0-9][0-9]?)$/
HTML 标签	/^<([a-z]+)([^<]+)(?:>(.)<\/\1>\|\s+\/>)$/
删除代码\注释	(?<!http:\|\S)//.*$
Unicode编码中的汉字范围	/^[\u2E80-\u9FFF]+$/