Shell正则表达式

一、 正则表达式：

正则表达式（或称Regular Expression，简称RE）就是由普通字符（例如字符a到z）以及特殊字符（称

为元字符）组成的文字模式。

该模式描述在查找文字主体时待匹配的一个或多个字符串。

正则表达式作为一个模板，将某个字符模式与所搜索的字符串进行匹配。 简单的说，正则表示式就是处

理字符串的方法，它是以行为单位来进行字符串的处理行为， 正则表示式通过一些特殊符号的辅助，可以

让使用者轻易的达到搜寻/删除/取代某特定字符串的处理程序。vim、grep、find、awk、sed等命令都支持

正则表达式。

常用正则表达式：

1、.代表任意单个字符,如：/l..e/与包含一个l，后跟两个字符，然后跟一个e的行相匹配

2、^代表行的开始。^love如：与所有love开头的行匹配

3、$代表行的结束。love$如：与所有love结尾的行匹配

那么‘^$’就表示空行

4、[…]匹配括号中的字符之一

[abc]匹配单个字符a或b或c

[123]匹配单个字符1或2或3

[a-z]匹配小写字母a-z之一

[a-zA-Z]匹配任意英文字母之一

[0-9a-zA-Z]匹配任意英文字母或数字之一

注意： 上面标红色的单个和之一，不管[ ]里面多复杂，它的结果都是一个字符！

可以用^标记做[ ]内的前缀， 表示除[ ]内的字符之外的字符。比如 搜索oo前没有g的字符串的行.应用

'[^g]oo'作搜索字符串，^符号如果出现在[ ]的起始位置表示否定，但是在[ ]的其他位置是普通字符。

[^ab^c]匹配不是a，b，^，c的任意单个字符

5、 * 用于修饰前导字符，表示前导字符出现 0次或任意多次

如：'a*grep'匹配所有个或多个a后紧跟grep的行。“.*”表示任意字符串

6、\?用于修饰前导字符，表示前导字符出现 0 或 1次

a\? 匹配 0 或 1 个 a

7、\+用于修饰前导字符，表示前导字符出现 1 或多次

a\+ 匹配 1 或多个 a

8、\用于修饰前导字符，表示前导字符出现n 至 m 次（n 和 m 都是整数，且 n

a\ 匹配 3 至 5 个连续的 a

\还有其他几种形式：

\连续的n 个前导字符

\连续的至少 n 个前导字符

9、\用于转义紧跟其后的单个特殊字符，使该特殊字符成为普通字符

如： ^\.[0-9][0-9]对以一个句点和两个数字开始

例如：

a* 匹配连续的任意（也包括 0）个 a

a\? 匹配 0 或 1 个字符串

a\+ 匹配 1 或多个字符串

a\ 匹配 3 至 5 个连续的 字符串

\.*匹配0 或多个连续的. \.表示普通字符句点

10、｜表示或如：a|b|c匹配a或b或c。如：grep|sed匹配grep或sed

11、（），将部分内容合成一个单位组，比如 要搜索glad或good可以如下'g(la|oo)d'

二、grep命令的用法

grep（global search regular expression(RE) and print out the line,全面搜索正则表达式并把行打印出来）是一

种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹配的行打印出来.

参数：

1.-ANUM，--after-context=NUM除了列出符合行之外，并且列出后NUM行。

如: $ grep –A 1 panda file (从file中搜寻有panda样式的行，并显示该行的后1行)

2.-BNUM，--before-context=NUM与-A NUM相对，但这此参数是显示除符合行之外并显示在它之前的

NUM行。 如: (从file中搜寻有panda样式的行，并显示该行的前1行)

$ grep -B 1 panda file

3、-C[NUM], -NUM, --context[=NUM]列出符合行之外并列出上下各NUM行。 默认值为2

如: (列出file中除包含panda样式的行外并列出其上下2行)(若要改变默认值，直接改变NUM即可)

$ grep -C[NUM] panda file

4、-c,--count不显示符合样式行，只显示符合的总行数。若再加上-v,--invert-match，参数显示不符合的

总行数

5、-i，--ignore-case忽略大小写差别

6、-n，--line-number在匹配的行前面打印行号

7、-v，--revert-match反检索，只显示不匹配的行

8、精确匹配： \

例如在抽取字符串“ 48”，返回结果包含诸如 484 和 483 等包含“48”的其他字符串，实际上应精确

抽取只包含 48 的各行。

使用 grep 抽取精确匹配的一种有效方式是在抽取字符串后加\>。假定现在精确抽取 48，

方法如下：

#grep '48\>' filename

9、-s不显示不存在或无匹配文本的错误信息

如：执行命令 grep "root" /etc/password，因为 password 文件不存在，所以在屏幕上输出错误信息，若

使用 grep 命令-s 开关，可屏蔽错误信息

要用好grep这个工具，其实就是要写好正则表达式，所以这里不对grep的所有功能进行实例讲解，只列几

个例子，讲解一个正则表达式的写法。

$ ls -l | grep '^d'

通过管道过滤ls -l输出的内容，只显示以d开头的行。

$ grep 'test' d*

显示所有以d开头的文件中包含test的行。

$ grep 'test' aa bb cc

显示在aa，bb，cc文件中匹配test的行。

$ grep '[a-z]\{5,\}' aa

显示所有包含每个字符串至少有5个连续小写字符的字符串的行。

$grep ‘t[a|e]st’ filename

显示包含test或tast的所有行。

$grep '\.$' filename

显示以.为结尾的所有行。

三、sed命令的用法

sed是一种在线编辑器，它一次处理一行内容。处理时，把当前处理的行存储在临时缓冲区中，称为“模

式空间”（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。

接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有改变，除非你使用重定向存储输出。

sed 的基本命令：

1．替换: s命令

1.1基本用法

如：sed 's/day/night/' new

该例子将文件old中的每一行第一次出现的day替换成night,将结果输出到文件new

s "替换"命令

/../../分割符(Delimiter)

day搜索字符串

night替换字符串

其实,分割符"/"可以用别的符号代替,比如",", "|"等.

如：sed 's/\/usr\/local\/bin/\/common\/bin/'new

等价于sed 's_/usr/local/bin_/common/bin_' new

显然,此时用"_"作分割符比"/"好得多

1.2用&表示匹配的字符串

有时可能会想在匹配到的字符串周围或附近加上一些字符.

如：sed 's/abc/(abc)/' new

该例子在找到的abc前后加上括号.

该例子还可以写成sed 's/abc/(&)/' new

下面是更复杂的例子:

sed 's/[a-z]*/(&)/' new

sed默认只替换搜索字符串的第一次出现,利用/g可以替换搜索字符串所有

$ sed 's/test/mytest/g' example-----在整行范围内把test替换为mytest。如果没有g标记，则只有每行第

一个匹配的test被替换成mytest。

$ sed 's/^192.168.0.1/&localhost/' example-----&符号表示替换字符串中被找到的部份。所有以192.168.0.1

开头的行都会被替换成它自已加localhost，变成192.168.0.1localhost。

$ sed 's#10#100#g' example-----不论什么字符，紧跟着s命令的都被认为是新的分隔符，所以，“#”在这

里是分隔符，代替了默认的“/”分隔符。表示把所有10替换成100。

如果需要对同一文件或行作多次修改，可以使用"-e"选项

取得eth0网卡IP地址：

2．删除行：d命令

从某文件中删除包含"how"的所有行

将/etc/passwd的内容显示并找印行号，同时将2~5删除

附：nl命令在linux系统中用来计算文件中行号。nl可以将输出的文件内容自动的加上行号

如果只要删除第2行，可以使用nl /etc/passwd | sed '2d'来达成，至于若是要删除第3到最后一行，

则是nl /etc/passwd | sed '3,$d'的啦。

3．增加行：a命令（在指定的行后新增）或i命令（在指定的行前新增）

a的后面可以接字符串，而这些字符串会在新的一行出现

在/etc/passwd的第二行后增加“XXXXX”字样的新行

在/etc/passwd的第二行前增加“XXXXX”字样的新行

如果要同时新增多行，则每行之间要用反斜杠\来进行新行的添加

4、取代行：c命令

c的后面可以接字符串，这些字符串可以取代n1,n2之间的行

5、打印：p命令

sed '/north/p' datafile默认输出所有行，找到north的行重复打印

sed–n'/north/p' datafile禁止默认输出，只打印找到north的行

nl /etc/passwd | sed -n '5,7p'仅列出/etc/passwd文件中的第5～7行内容

注：sed的-i选项可以直接修改文件中的内容

6． 扩展:

调用sed有三种方式：

在命令行键入命令

将sed命令插入脚本文件，然后调用sed

将sed命令插入脚本文件，并使sed脚本可执行。

A、 使用sed命令行格式为：

sed [选项] sed命令 输入文件。

记住在命令行使用sed命令时，实际命令要加单引号。 sed也允许加双引号。

B、 使用sed脚本文件，格式为：

sed [选项] -f sed脚本文件 输入文件

C、 要使用第一行具有sed命令解释器的sed脚本文件，其格式为：

sed脚本文件 [选项] 输入文件

不管是使用shell命令行方式或脚本文件方式，如果没有指定输入文件， sed从标准输入中接受输入，一般

是键盘或重定向结果。

sed选项如下：

-f, --filer=script-file 引导 sed 脚本文件名

综合举例：

通过 sed 脚本对 test.txt 进行处理， test.txt 文件内容如下：

创建 sed 脚本文件 append.sed，通过 sed 脚本向 test.txt 中新增内容，脚本内容如下：

保存它，增加可执行权限： chmod +x append.sed

运行脚本 append.sed

显示结果如下：

现在查看其具体功能。

第一行是sed命令解释行。脚本在这一行查找sed以运行命令，这里定位在/bin。

第二行以/company/开始，这是附加操作起始位置。 a\通知sed这是一个附加操作，首先应插入二个新行。

第三、四行是附加操作要加入到拷贝的实际文本。

这里只举例通过sed脚本增加新行的操作，有关sed的其他操作大家要会举一反三。