shell 三剑客之 awk

背景

awk 是一个文本处理工具，通常用于处理数据并生成结果报告。awk 的命名是它的创始人 Alfred Aho、Peter Weinberger 和 Brian Kernighan 姓氏的首个字母组成的。awk 实质上是一门编程语言，其具备自己的语法，如：条件判断、循环等等。在很多方面类似 shell 编程语言。在测试工作中，我们可以利用它来帮助我们提升测试效率，比如：分析日志，格式化统计结果等等。

awk 语法格式

awk [option] 'pattern' filename

action

接下来我们来学习最简单的 action-print

root@lemonban:/home/test# cat hello.txt

hello lemon

Tester Developer

Java Python

逐行打印每行内容，$0 是 awk 的内置变量，效果是打印整行内容

root@lemonban:/home/test# awk '' hello.txt

hello lemon

Tester Developer

Java Python

每行以空格为分隔，逐行打印出第一列内容

root@lemonban:/home/test# awk '' hello.txt

hello

Tester

Java

每行以空格为分隔，逐行打印出第一列 第二列 内容

root@lemonban:/home/test# awk '' hello.txt

hello lemon

Tester Developer

Java Python

action 是被{}包裹的内容

awk 的工作模式是逐行以指定的分隔符将行分成多个字段，上述的例子没有指定分隔符，那么讲会以默认的分隔符空格进行分割，每一个分割的字段分别对应着 awk 的内置变量 $1,$2...，其中 $0 是代表整行内容。

awk 内置变量

除了 $0,$1,$2...之外，awk 还有很多内置变量，下表中是常用的 awk 内置变量：

NR,NF 输出

root@lemonban:/home/test# awk '' hello.txt

1 2

2 2

3 2

如果不想以默认的空格作为字段分隔符，那么我们可以通过 FS 内置变量指定新的分隔符

文件内容更改如下：

root@lemonban:/home/test# cat hello.txt

hello|lemon

Tester|Developer

Java|Python

指定"|"为新的分隔符，其中-v 参数表示指定输入分隔符（即在处理文件之前）：

root@lemonban:/home/test# awk -v FS='|' '' hello.txt

hello lemon

Tester Developer

Java Python

默认输出分隔符也是空格，可以指定-v OFS 改变输出分隔符

root@lemonban:/home/test# awk -v FS='|' -v OFS='::' '' hello.txt

hello::lemon

Tester::Developer

Java::Python

pattern 模式

上面我们学习到了 option 参数中的-v 参数以及 action 中的 print 动作，pattern 有何用处呢？

当 awk 进行逐行处理的时候，pattern 作为条件去判断将要被处理的行是否满足条件，如果满足则处理，否则不处理。

需要注意的是 action 是一定会被{}包裹的，而 pattern 则没有被{}包裹着的

空模式

默认 pattern 为空模式，比如上述的：

awk '' testfile

文本中的每一行，都满足条件，都会执行相应的操作

BEGIN/END 模式

在开始逐行处理文本之前，先执行 BEGIN 模式所指定的动作，一般我们将其用于表头

awk 'BEGIN'

在所有文本处理完毕之后，执行 END 模式所指定的动作，一般用于末尾说明

awk 'BEGINEND'

示例：

root@lemonban:/home/test# awk 'BEGINEND' hello.txt

name age

zhangsan 25

lisi 30

wangwu 28

no more data

正则模式

使用语法：

awk '/正则表达式/' filename

其中，正则表达式需要通过//包裹起来

示例：

查找 passwd 中以 MySQL 开头的信息

root@lemonban:/home/test# awk '/^mysql/' /etc/passwd

mysql:x:105:114:MySQL Server,,,:/nonexistent:/bin/false

结合-v 参数指定输入分隔符为":"

root@lemonban:/home/test# awk -v FS=':' '/^mysql/' /etc/passwd

mysql x

需要注意的是如果正则表达式中有斜杠"/"，那么需要进行转义：

root@lemonban:/home/test# awk '/\/bin\/bash$/' /etc/passwd

root:x:0:0:root:/root:/bin/bash

上述表达式是查找以/bin/bash 结束对应行的信息

比较表达式模式

所谓比较表达式是指有关系运算符参与运算，比如 >,=,

示例：

查找 2 行以后所有行的内容

root@lemonban:/home/test# awk 'NR>2' hello.txt

wangwu 28

查找字段最后一个是 30 所在行内容

root@lemonban:/home/test# awk '$NF==30' hello.txt

lisi 30

这里的 NF 表示所在行字段个数，$NF 即表示所在行最后一个字段

总结

本篇文章给大家介绍了 awk 的基本语法及 action、pattern、option 的使用，awk 作为强大的编程工具，由于文章篇幅有限 awk 还有更多的特性没有介绍，大家如果感兴趣可以自行查阅相关资料学习。

本文作者：柠檬班软件测试（lemonban）——专注于最新最前沿的软件测试技术，解决你的测试技术烦恼，对软件测试感兴趣的朋友赶快关注我们吧！