专栏首页性能与架构快速理解linux文本分析利器awk

快速理解linux文本分析利器awk

awk是什么

如果工作中需要操作linux比较多,那么awk是非常值得学习的

awk是一个极其强大的文本分析工具,把文件逐行的读入,以指定分隔符将每行切片,切开的部分再进行各种分析处理 可以使用awk创建程序,来读取输入文件、为数据排序、处理数据、对输入执行计算以及生成报表,还有很多其他的功能 awk使用示例 通过一些简单的示例来认识一下awk (1)$ ll | awk '{print $9}' 这个命令的结果是只显示文件名列表 工作过程 awk命令接收 ll 结果信息,并逐行处理 对每一行结果记录按空格(空格是默认分隔符)分割,并打印出第9列的信息 语法说明 单引号('')里面的部分是awk要执行的内容,花括号({})中是一个代码块,单引号中可以有多个花括号部分 print是一个输出命令 $9 表示分割结果中的第9列内容,分割结果相当于一个数组,从 0-n,$0 是没分割的整行内容,$n 是分割后的第 n 列内容 (2)awk -F ':' '{print $1"\t"$6}' /etc/passwd 上个命令是通过管道处理命令结果 这个命令是处理文件(/etc/passwd)的内容,显示出用户名、用户目录列表 passwd文件中每行内容是用 ':' 分隔的,要使用 -F 参数来指定分隔符 awk命令的尾部跟上文件名,就表示要处理这个文件 $1"\t"$6 是组织结果信息显示形式,第1列内容 + tab + 第6列内容 (3)awk -F: '/root/{print $0}' /etc/passwd 上两个命令是处理每一行记录,如果想过滤出自己关注的记录,可以使用匹配模式 这个命令就是对每行进行匹配,如果这一行信息中含有 root,才执行后面{}中的命令 双斜杠(/.../)中支持正则表达式,例如匹配以 root 开头的行 awk -F: '/^root/{print $0}' /etc/passwd (4)awk -F ':' '{print "filename:" FILENAME ",linenumber:" NR ",columns:" NF ",linecontent:"$0}' /etc/passwd awk还内置了一些有用的变量,例如这个命令中打印出了

‘文件名’ - FILENAME

‘行号’ - NR

‘列号’ - NF (5)awk -F ':' 'BEGIN {print "header"} {print $1} END {print "foot"}' /etc/passwd 这个命令中多了两个新部分: BEGIN {print "header"} END {print "foot"} BEGIN 是开始处理前的动作,END 是处理后的动作 工作流程 1)先执行BEGING 对应此例中的 BEGIN {print "header"} 2)读取文件,取得第一行进行分割,然后执行动作,对应此例中的 {print $1},直至处理完每一行 3)执行END操作 对应此例中的 END {print "foot"} (6)ls -l |awk 'BEGIN {size=0;} {size=size+$5;} END{print size/1024/1024,"M"}' 此命令统计文件夹下的文件总大小,以M为单位 此例中新增了一个概念:变量 在起始部分 BEGIN {size=0;} 中,定义了一个变量,名为 size,初始化为 0 在每行对应的处理动作为 {size=size+$5;},对size变量值进行累加 在结束部分 END{print size/1024/1024,"M"} 中,对 size 值转换为M,然后打印出来 (7)ls -l |awk 'BEGIN {size=0;} {if($5!=4096){size=size+$5;}} END{print size/1024/1024,"M"}' 此命令在上个例子的基础上过滤掉了文件夹的大下 过滤是通过条件判断来实现的,文件夹的大小为 4096 awk中的条件语句是从C语言中借鉴来的,支持 if、while、do/while、for、break、continue --- 通过上面的几个例子,已经可以看到awk的概貌,也可以理解了为什么awk这么强大,它有内置变量、可以自定义变量、支持条件判断语句、支持正则表达式…… 可以视为一门语言了

awk还有很多其他高级用法,有兴趣的话可以深入学习一下

本文分享自微信公众号 - 性能与架构(yogoup),作者:杜亦舒

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2015-11-22

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • kafka 中 zookeeper 具体是做什么的?

    zookeeper 是 kafka 不可分割的一部分,可见其重要程度,所以我们有必要了解一下 zookeeper 在 kafka 中的具体工作内容。

    dys
  • mysql优化案例

    今天发现网站页面打开非常慢,对处理过程简单记录了一下 找问题 首先登录服务器使用 top 查看当前进程信息,发现排名第一的是 mysql,占用 cpu 达到了 ...

    dys
  • Kafka 快速起步

    主要内容: 1. kafka 安装、启动 2. 消息的 生产、消费 3. 配置启动集群 4. 集群下的容错测试 5. 从文件中导入数据,并导出到文件 单机示例 ...

    dys
  • Swift基础语法(一)

    Swift语言是苹果公司在Apple WWDC 2014上退出的,用来撰写MacOS和iOS应用程序。

    拉维
  • python中列表的常见操作

    黑白格
  • Linux 统计文件的行数

    week
  • 使用循环神经网络做手写数字识别

    做图像识别的使用卷积神经网络CNN是最好的选择,但是其实我们也可以使用循环神经网络RNN做,只是大部分时候没有卷积网络效果好!下面分析一下如何使用RNN做手写数...

    卡尔曼和玻尔兹曼谁曼
  • python函数和类

    曾经有一句非常出名的话是 In Unix Everything Is A File,在unix中所有的一切都是文件

    py3study
  • Python 技术篇-读取文件,将内容保存dict字典中。去掉字符串中的指定字符方法。dict字典的遍历。

    小蓝枣
  • 人类对可解释性的评价: 人工智能生成音乐知识的案例(CS HC)

    机器学习模型的可解释性已经越来越受到人工智能(AI)和人机交互(HCI)领域研究人员的关注。 现有的研究大多集中在决策制定上,而我们研究的是知识发现。 特别是,...

    用户7095611

扫码关注云+社区

领取腾讯云代金券