Sed 命令详解

sed是stream editor的简称,也就是流编辑器。它一次处理一行内容,处理时,把当前处理的行存储在临时缓冲区中,称为“模式空间”(pattern space),接着用sed命令处理缓冲区中的内容,处理完成后,把缓冲区的内容送往屏幕。接着处理下一行,这样不断重复,直到文件末尾。文件内容并没有改变,除非你使用重定向存储输出。

使用语法

sed [option] 'command' input_file

常用的option有如下几种:

  • -n 使用安静(silent)模式。默认条件下,所有来自stdin的内容一般都会被列出到屏幕上。但如果加上-n参数后,则只有在脚本中使用p,被匹配的行才会被列出来,比如:sed -n '/<HTML>/p'(仅显示这一行);
  • -e 用于执行多个编辑命令,如:sed -e '1,3s/my/your/g' -e '3,$s/This/That/g' my.txt
  • -f 从 script-file 中读取 sed 编辑命令,可以将多个编辑命令写在文件中,使用sed -f script-file ...读取;
  • -r 让sed命令支持扩展的正则表达式(默认是基础正则表达式);
  • -i 直接修改读取的文件内容,默认下,sed 不会直接修改文件,当提供-i选项时 sed 会直接修改文件内容。

常用的命令有以下几种:

  • a \: 在匹配的行下新起一行,追加字符串,a \的后面跟上字符串(多行字符串可以用\n分隔);
  • c \: 取代/替换字符串,c \后面跟上字符串s(多行字符串可以用\n分隔),会将当前选中的行替换成字符串s;
  • d: delete即删除,该命令会将当前选中的行删除;
  • i \: insert即插入字符串,i \后面跟上字符串s(多行字符串可以用\n分隔),则会在当前选中的行的前面都插入字符串s;
  • p: print即打印,该命令会打印当前选择的行到屏幕上,通常同-n一起使用,打印选中的行;
  • s: 替换,通常s命令的用法是这样的:s/old/new/g,将old字符串替换成new字符串

多个匹配

有时我们需要一次进行多次匹配,可参考下面的示例:(第一个模式把第一行到第三行的my替换成your,第二个则把第3行以后的This替换成了That)

$ sed '1,3s/my/your/g; 3,$s/This/That/g' my.txtThis is your cat, your cat's name is bettyThis is your dog, your dog's name is frankThat is your fish, your fish's name is georgeThat is my goat, my goat's name is adam

上面的命令等价于:(注:下面使用的是sed的-e命令行参数)

sed -e '1,3s/my/your/g' -e '3,$s/This/That/g' my.txt

我们可以使用&来当做被匹配的变量,然后可以在基本左右加点东西。如下所示:

$ sed 's/my/[&]/g' my.txtThis is [my] cat, [my] cat's name is bettyThis is [my] dog, [my] dog's name is frankThis is [my] fish, [my] fish's name is georgeThis is [my] goat, [my] goat's name is adam

命令示例

假设有一个本地文件test.txt,文件内容如下:

$ cat test.txtthis is first linethis is second linethis is third linethis is fourth linethis fifth linehappy everydayend

本节将使用该文件详细演示每一个命令的用法。

a命令

$ sed '1a \add one' test.txtthis is first lineadd onethis is second linethis is third linethis is fourth linethis is fifth linehappy everydayend

本例命令部分中的1表示第一行,同样的第二行写成2,第一行到第三行写成1,3,用$表示最后一行,比如2,$表示第二行到最后一行中间所有的行(包含第二行和最后一行)。 本例的作用是在第一行之后增加字符串”add one”,从输出可以看到具体效果。需要注意的是在 Mac OS X 系统上,a \后的追加文本需要另起一行写,如:

$ sed '1a \>add one' test.txt

$ sed '1,$a \add one' test.txtthis is first lineadd onethis is second lineadd onethis is third lineadd onethis is fourth lineadd onethis is fifth lineadd onehappy everydayadd oneendadd one

本例表示在第一行和最后一行所有的行后面都加上”add one”字符串,从输出可以看到效果。

$ sed '/first/a \add one' test.txtthis is first lineadd onethis is second linethis is third linethis is fourth linethis is fifth linehappy everydayend

本例表示在包含”first”字符串的行的后面加上字符串”add one”,从输出可以看到第一行包含first,所以第一行之后增加了”add one”

$ sed '/^ha.*day$/a \add one' test.txtthis is first linethis is second linethis is third linethis is fourth linethis is fifth linehappy everydayadd oneend

本例使用正则表达式匹配行,^ha.*day$表示以ha开头,以day结尾的行,则可以匹配到文件的”happy everyday”这样,所以在该行后面增加了”add one”字符串。

i命令

i命令使用方法和a命令一样的,只不过是在匹配的行的前面插入字符串,所以直接将上面a命令的示例的a替换成i即可,在此就不啰嗦了。

c命令

$ sed '$c \add one' test.txtthis is first linethis is second linethis is third linethis is fourth linethis is fifth linehappy everydayadd one

本例表示将最后一行替换成字符串”add one”,从输出可以看到效果。同a命令一样在 Mac OS X 系统上,c \后文本需要另起一行写,如:

$ sed '$c \>add one' test.txt

$ sed '4,$c \add one' test.txtthis is first linethis is second linethis is third lineadd one

本例将第四行到最后一行的内容替换成字符串”add one”。

$ sed '/^ha.*day$/c \replace line' test.txtthis is first linethis is second linethis is third linethis is fourth linethis is fifth linereplace lineend

本例将以ha开头,以day结尾的行替换成”replace line”。

d命令

$ sed '/^ha.*day$/d' test.txtthis is first linethis is second linethis is third linethis is fourth linethis is fifth lineend

本例删除以ha开头,以day结尾的行。

$ sed '4,$d' test.txtthis is first linethis is second linethis is third line

本例删除第四行到最后一行中的内容。

p命令

$ sed -n '4,$p' test.txtthis is fourth linethis is fifth linehappy everydayend

本例在屏幕上打印第四行到最后一行的内容,p命令一般和-n选项一起使用。

$ sed -n '/^ha.*day$/p' test.txthappy everyday

本例打印以ha开始,以day结尾的行。

s命令

实际运用中s命令式最常使用到的。

$ sed 's/line/text/g' test.txtthis is first textthis is second textthis is third textthis is fourth textthis is fifth texthappy everydayend

本例将文件中的所有line替换成text,最后的g是global的意思,也就是全局替换,如果不加g,则只会替换本行的第一个line。

$ sed '/^ha.*day$/s/happy/very happy/g' test.txtthis is first linethis is second linethis is third linethis is fourth linethis is fifth linevery happy everydayend

本例首先匹配以ha开始,以day结尾的行,本例中匹配到的行是”happy everyday”这样,然后再将该行中的happy替换成very happy。

$ sed 's/\(.*\)line$/\1/g' test.txtthis is firstthis is secondthis is thirdthis is fourththis is fifthhappy everydayend

这个例子有点复杂,先分解一下。首先s命令的模式是s/old/new/g这样的,所以本例的old部分即\(.*\)line$,sed命令中使用\(\)包裹的内容表示正则表达式的第n部分,序号从1开始计算,本例中只有一个\(\)所以\(.*\)表示正则表达式的第一部分,这部分匹配任意字符串,所以\(.*\)line$匹配的就是以line结尾的任何行。然后将匹配到的行替换成正则表达式的第一部分(本例中相当于删除line部分),使用\1表示匹配到的第一部分,同样\2表示第二部分,\3表示第三部分,可以依次这样引用。比如下面的例子:

$ sed 's/\(.*\)is\(.*\)line/\1\2/g' test.txtthis firstthis secondthis thirdthis fourththis fifthhappy everydayend

正则表达式中is两边的部分可以用\1\2表示,该例子的作用其实就是删除中间部分的is。

一些关于 sed 的基础知识

前面通过实例说完了 sed 的运用,下面来说一些和 sed 相关的基础知识

Pattern Space

什么是Pattern Space,Pattern space相当于车间sed把流内容在这里处理,你可以将pattern space看成是一个流水线,所有的动作都是在“流水线”上执行的。不理解?没关系,我们来看看 sed 的伪代码:

foreach line in file { //放入把行Pattern_Space Pattern_Space <= line; // 对每个pattern space执行sed命令 Pattern_Space <= EXEC(sed_cmd, Pattern_Space); // 如果没有指定 -n 则输出处理后的Pattern_Space if (sed option hasn't "-n") { print Pattern_Space }}

Hold Space

什么是Hold Space?Hold space相当于仓库,加工的半成品在这里临时储存。由于各种各样的原因,比如用户希望在某个条件下脚本中的某个命令被执行,或者希望模式空间得到保留以便下一次的处理,都有可能使得sed在处理文件的时候不按照正常的流程来进行。这个时候,sed设置了一些高级命令来满足用户的要求。

  • g:[address[,address]]g 将hold space中的内容拷贝到pattern space中,原来pattern space里的内容清除
  • G:[address[,address]]G 将hold space中的内容append到pattern space后
  • h:[address[,address]]h 将pattern space中的内容拷贝到hold space中,原来的hold space里的内容被清除
  • H:[address[,address]]H 将pattern space中的内容append到hold space后
  • x: 交换pattern space和hold space的内容

那么这些命令怎么用呢,我们来看些例子,示例文件如下:

$ cat t.txtonetwothree

如果我需要使用 sed 完成文件倒序输出要怎么做呢?你可以这样写:

sed '1!G;h;$!d' t.txt

其中的 ‘1!G;h;$!d’ 可拆解为三个命令

  • 1!G —— 只有第一行不执行G命令,将hold space中的内容append回到pattern space
  • h —— 第一行都执行h命令,将pattern space中的内容拷贝到hold space中
  • $!d —— 除了最后一行不执行d命令,其它行都执行d命令,删除当前行

Address

通过 Address 可以指定 Sed 地址/操作范围,Address 可以是一个数字,也可以是一个模式。用逗号分割两个 Address 表示匹配两个 Address 的区间:

[address[,address]][!]{cmd}

其中的!表示匹配成功后是否执行命令,Address 也可以使用相对位置,如:

# 其中的+3表示后面连续3行$ sed '/dog/,+3s/^/# /g' pets.txtThis is my cat my cat's name is betty# This is my dog# my dog's name is frank# This is my fish# my fish's name is georgeThis is my goat my goat's name is adam

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Java 技术分享

Struts2 转换器

31370
来自专栏技术小讲堂

使用Unity创建依赖注入依赖注入生命周期:注册、解析、销毁   注册解析销毁

这篇文章翻译自《Dependency Injection With Unity》第三章。文中提到的类似“前几节”的内容您不必在意,相信您可以看懂的。 P.S:如...

41860
来自专栏博客园

Asp.Net Web API(三)

    在Asp.Net Web API中,一个控制器就是一个处理HTTP请求的类,控制器的public方法就被叫做action方法或简单的Action。当We...

17750
来自专栏Pythonista

python全栈考试

a.实现用户输入用户名和密码,当用户名为 seven 且 密码为 123 时,显示登陆成功,否则登陆失败!

22520
来自专栏阮一峰的网络日志

Javascript 严格模式详解

一、概述 除了正常运行模式,ECMAscript 5添加了第二种运行模式:"严格模式"(strict mode)。顾名思义,这种模式使得Javascript在更...

29880
来自专栏用户2442861的专栏

linux sed命令使用

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/haluoluo211/article/d...

10420
来自专栏Hongten

java多线程系列_线程的生命周期(4)

与人有生老病死一样,线程也同样要经历开始(等待)、运行、挂起和停止四种不同的状态。这四种状态都可以通过Thread类中的方法进行控制。下面给出了Thread类中...

10720
来自专栏运维小白

linux基础(day26)

9.1正则介绍_grep(上) 正则介绍 正则就是一串有规律的字符串 掌握好正则对编写shell脚本帮助交大 各种编程语言中都有正则,原理是一样的 grep/e...

256100
来自专栏北京马哥教育

15分钟学会shell脚本,最简明的教程在这里

本文由马哥教育M23期学员推荐,转载自互联网,作者为Hnongy,感谢作者的辛苦付出和贡献。 Shell脚本,就是利用Shell的命令解释的功能,对一个纯文本的...

32170
来自专栏Linux驱动

编译make的出错提示解决方案

编译出错笔记: start.s:20: Error: no such instruction: `ldr r0,=WTCON' 错误:没有这样的指令 解决...

200100

扫码关注云+社区

领取腾讯云代金券