【Linux】文本处理三剑客：grep、sed 和 awk

在日常的开发、运维、数据分析等工作中，我们经常需要处理大量的文本数据。无论是日志分析、配置文件修改，还是数据提取与格式化，命令行工具 grep、sed 和 awk 都是不可或缺的得力助手。它们被戏称为“文本处理三剑客”，为我们提供了高效且灵活的方式来处理和操作文本数据。

1. grep - 快速查找

grep 是 Linux 系统中最常用的文本查找工具，常用于在文件中搜索指定的字符串或正则表达式。它的名字来源于 "Global Regular Expression Print"。

基本用法

grep 'pattern' file.txt # 查找文件中包含 'pattern' 的行 grep -i 'pattern' file.txt # 忽略大小写，查找 'pattern' grep -r 'pattern' /path/to/dir # 递归查找指定目录下所有文件 grep -v 'pattern' file.txt # 查找不包含 'pattern' 的行 grep -l 'pattern' *.txt # 显示包含 'pattern' 的文件名

示例

假设我们有一个日志文件 logs.txt，想查找所有包含错误信息的行：

grep 'error' logs.txt

这个命令会返回所有包含 error 字符串的行。如果我们想查找所有大小写不敏感的错误信息，可以加上 -i 选项：

grep -i 'error' logs.txt

2. sed - 流编辑器

sed（Stream Editor）是一个功能强大的文本流编辑工具，主要用于文本替换、删除、插入、转换等任务。与 grep 主要用于查找不同，sed 允许我们直接修改文本内容。

基本用法

sed 's/old/new/' file.txt # 替换文件中的第一个 'old' 为 'new' sed -i 's/old/new/' file.txt # 直接修改文件，将 'old' 替换为 'new' sed '2d' file.txt # 删除第 2 行 sed '1,3d' file.txt # 删除第 1 到第 3 行 sed 's/^\s*//g' file.txt # 删除每行开头的空格

示例

假设我们要将文件 config.txt 中所有的 localhost 替换为 127.0.0.1：

sed -i 's/localhost/127.0.0.1/g' config.txt

如果想删除文件的第一行，可以使用：

sed '1d' file.txt

而如果想删除每行开头的多余空格，则可以使用：

sed 's/^\s*//g' file.txt

3. awk - 强大的文本处理语言

awk 是一种功能强大的编程语言，专门用于文本和数据处理。与 grep 和 sed 主要处理文本行不同，awk 允许我们按照字段来处理文本，非常适合格式化、筛选和汇总数据。

基本用法

awk '{print $1}' file.txt # 打印文件每行的第一个字段

awk '{print $1, $3}' file.txt # 打印每行的第 1 和第 3 字段

awk '/pattern/ {print $0}' file.txt # 查找包含 'pattern' 的行

awk '{if ($1 > 100) print $1}' file.txt # 如果第 1 列大于 100，打印该列

示例

假设我们有一个 CSV 文件 data.csv，它记录了商品的价格和数量，我们想要筛选出价格大于 100 的商品，并打印它们的名称和价格：

awk -F ',' '$2 > 100 {print $1, $2}' data.csv

这里使用了 -F ',' 选项来指定逗号作为字段分隔符。1 表示商品名称，2 表示价格。

另外，如果我们想统计每行的字段数量，并只打印字段数大于 3 的行，可以使用：

awk 'NF > 3' file.txt

如何高效组合使用它们

这三款工具各有特点，但它们可以在命令行中组合使用，从而达到更复杂的文本处理效果。例如，你可以先使用 grep 查找包含特定字符串的行，然后使用 sed 进行替换，最后通过 awk 来提取和格式化数据。

示例：日志分析

假设我们有一个日志文件 app.log，我们想要：

1. 查找所有包含 error 字符串的行。
2. 将这些行中的 ERROR 替换为 WARNING。
3. 提取并显示错误发生的时间（假设时间在每行的第一个字段）。

grep 'error' app.log | sed 's/ERROR/WARNING/g' | awk '{print 1, 0}'

这条命令首先用 grep 查找包含 error 的行，然后用 sed 替换 ERROR 为 WARNING，最后使用 awk 提取并显示每行的第一个字段（时间）。

总结

在 Linux 和类 Unix 系统中，grep、sed 和 awk 被称为“文本处理三剑客”，它们是处理文本数据的核心工具：

• grep 用于查找文本中符合特定模式的行；
• sed 用于对文本进行流编辑，可以替换、删除、插入等；
• awk 是一种强大的文本处理语言，适用于字段操作和格式化输出。

通过这三款工具的巧妙组合，您可以高效地处理和分析文本数据，轻松应对各种日志分析、配置修改和数据清洗任务。如果你还没有掌握它们，强烈建议在日常工作中深入了解和使用这些工具，它们将极大地提高你的工作效率。