awk、sed、grep

awk

[https://www.runoob.com/linux/linux-comm-

awk.html](https://links.jianshu.com/go?to=https%3A%2F%2Fwww.runoob.com%2Flinux%2Flinux-

comm-awk.html)

可以根据文件指定分隔符，像处理表格一样处理文本或序列。通常来处理字段，并基于字段进行过滤，或进行模式匹配。

语法

awk [选项参数] 'script' var=value file(s)

或

awk [选项参数] -f scriptfile var=value file(s)

常用的内建变量

NF:记录的字段数

NR：记录的行号

OFS：输出字段分隔符，默认值与输入字段分隔符一致。

ORS：输出记录分隔符(默认值是一个换行符)

$n：当前记录的第n个字段，字段间由FS分隔

$0：完整的输入记录

ARGV：包含命令行参数的数组

ARGC:命令行参数的数目

基本用法

1. 案例一undefined输出字段1,4undefinedawk '{print $1,$4}' log.txt
2. 案例二undefined指定分隔符undefinedawk -F, '{print $1,$2}' log.txt
3. 案例三undefined设置变量undefinedawk -va=1 '{print $1,$1+a}' log.txt
4. 案例四undefined执行awk 脚本undefinedawk -f {awk脚本} {文件名}
5. 其他案例

awk '$1==2 {print $1,$3}' log.txt    #命令

awk '$1>2 && $2=="Are" {print $1,$2,$3}' log.txt    #命令

awk '$2 ~ /th/ {print $2,$4}' log.txt # 正则表达式匹配

awk '/re/ ' log.txt

awk '!/th/ {print $2,$4}' log.txt

awk 脚本

关于 awk 脚本，我们需要注意两个关键词 BEGIN 和 END。

BEGIN{ 这里面放的是执行前的语句 }

END {这里面放的是处理完所有的行后要执行的语句 }

{这里面放的是处理每一行时要执行的语句

ls -l *.txt | awk '{sum+=$5} END {print sum}'

以上的应用案例基本包括了常用的awk 的常用用法，更复杂的文本处理则可以通过awk 脚本完成。

sed

[https://www.runoob.com/linux/linux-comm-

sed.html](https://links.jianshu.com/go?to=https%3A%2F%2Fwww.runoob.com%2Flinux%2Flinux-

comm-sed.html)

与awk 相比，sed在处理文本的行具有更好的效率。

基本语法

sed [-hnV][-e<script>][-f<script文件>][文本文件]

参数说明

• -e<script> 或 --expression=<script> 以选项中指定的script来处理输入的文本文件。
• -f<script文件> 或--file=<script文件> 以选项中指定的script文件来处理输入的文本文件。
• -n或--quiet或--silent 仅显示script处理后的结果。

sed 文件处理命令

包括增加、删除、打印、替换行的内容

• a ：新增， a 的后面可以接字串，而这些字串会在新的一行出现(目前的下一行)～
• c ：取代， c 的后面可以接字串，这些字串可以取代 n1,n2 之间的行！
• d ：删除，因为是删除啊，所以 d 后面通常不接任何咚咚；
• i ：插入， i 的后面可以接字串，而这些字串会在新的一行出现(目前的上一行)；
• p ：打印，亦即将某个选择的数据印出。通常 p 会与参数 sed -n 一起运行～
• s ：取代，可以直接进行取代的工作哩！通常这个 s 的动作可以搭配正规表示法！例如 1,20s/old/new/g 就是啦！

应用案例

1. 案例一

sed -e 4a\newline testfile #使用sed 在第四行后添加新字符串  

nl /etc/passwd | sed '2a drink tea' ## 第二行末尾添加内容。nl 显示行号。

nl /etc/passwd | sed '2i drink tea'  # 第二行前添加内容

nl /etc/passwd | sed '2a Drink tea or ......

drink beer ?' \  # 在第二行后面加入两行字，'\'符号

1. 案例二undefinednl /etc/passwd | sed '2,5d'
2. 案例三undefined将第2-5行的内容取代成为『No 2-5 number』

nl /etc/passwd | sed '2,5c No 2-5 number' 

1. 案例四undefined-n 只打印包含模式匹配的行。

nl /etc/passwd | sed -n '/root/p'

1. 其他

nl /etc/passwd | sed  '/root/d'

nl /etc/passwd | sed -n '/root/{s/bash/blueshell/;p;q}'    

/sbin/ifconfig eth0 | grep 'inet addr' | sed 's/^.*addr://g' ## 替换

nl /etc/passwd | sed -e '3,$d' -e 's/bash/blueshell/' # 多点编辑

sed -i 's/\.$/\!/g' regular_express.txt # 直接修改命令

以上的案例表明，sed 的一些操作可以放在行的末尾，或者放在模式匹配的末尾，或者在大括号内以分号分隔，或者通过-e 命令，实现多点编辑。

grep

[https://www.runoob.com/linux/linux-comm-

grep.html](https://links.jianshu.com/go?to=https%3A%2F%2Fwww.runoob.com%2Flinux%2Flinux-

comm-grep.html)

grep 查找文件里符合条件的字符串。

语法

grep [-abcEFGhHilLnqrsvVwxy][-A<显示行数>][-B<显示列数>][-C<显示列数>][-d<进行动作>][-e<范本样式>][-f<范本文件>][--help][范本样式][文件或目录...]

应用案例

grep "被查找的字符串" 文件名

grep test *file  # 在当前目录中，查找后缀有 file 字样的文件中包含 test 字符串的文件

grep -v test *test*  #查找文件名中包含 test 的文件中不包含test 的行，此时，使用的命令为

grep –e "正则表达式" 文件名 

grep 除了可以查找单个文件中匹配的模式，也可以在目录中包含特定字符的文件查找匹配模式的行。