命令行工具:awk文本处理

awk

一个强大的工具,可以同时处理行和列,好多C语言内置函数可以集成进来,非常灵活。基本模式是awk 'BEGIN{print "start"} pattern {commands} END {print "end"} file',其中BEGIN和END可选,就是开始执行真正的循环之前和之后执行的操作。

简介

有几个特殊的变量:

  • NR:number of current row,当前行号;
  • NF:number of fields,总共有多少个字段,默认是按空格分字段的;
  • $0:当前行段内容;
  • $1:第一个字段的内容

执行逻辑是:

  • 执行BEGIN块里命令
  • 读取一行内容(文件或stdin),匹配模式,若匹配成功,执行commands;匹配不成功,不执行;如果没有模式,默认都执行;重复这一步
  • 执行END块里命令

下面还是以student.csv为例:

name

gender

score

grade

David

male

85

B

Michael

female

90

A

Cammy

male

88

A

Tom

female

59

C

Cookbook

简单常见操作:

  • awk '{print $1}' student.csv:打印第一个字段,默认空格分割
  • awk '/Tom/ {print $2}' student.csv:若该行包含Tom,打印第二列,默认空格分割
  • awk -F ',' '{print $NF}' student.csv:打印最后一列,指定是按逗号分隔
  • awk '{s+=$3} END {print s}' student.csv:计算第三列的和,如果没有表头的话
  • awk 'BEGIN {getline; print $0} {s+=$3} END {print s}' student.csv:getline跳过第一行,尤其是CSV文件
  • awk 'END{print NR}' student.csv:统计有几行
计算一列和

awk -F"," 'BEGIN {getline} {s+=$3} END {print s}' student.csv结果算出score列和为322。

其中-F","告诉awk用逗号分隔;BEGIN里的get line告诉awk跳过第一行;后面每次循环加上第三列的值,结果就是求个sum。

计算某列最大值

awk -F"," 'BEGIN{getline} max < $3 {max = $3} END{print max}' student.csv得出结果90。

同样开始的时候,跳过第一行;max < $3是一个条件判断,如果遇到更大的值,将其赋给max,如果没有,继续;最后打印最大值。

awk -F"," 'BEGIN{getline} max < $3 {max = $3; maxline=$0} END{print maxline }' student.csv可以打印最大值这一行。

交换两列值

awk -F"," 'BEGIN{OFS=","} {tmp=$3; $3=$4; $4=tmp; print $0}' student.csv结果如下:

name

gender

grade

score

David

male

B

85

Michael

female

A

90

Cammy

male

A

88

Tom

female

C

59

其中BEGIN模块里先指定Output Field Separator,默认的是空格,可以重新指定为逗号;后面建立一个临时变量,然后交换第三四列;打印交换后的行。

给加一个列id

awk 'BEGIN {getline; print "id," $0} {print NR-1 "," $0}' student.csv

id

name

gender

score

grade

1

David

male

85

B

2

Michael

female

90

A

3

Cammy

male

88

A

4

Tom

female

59

C

第一行的时候,直接加id即可;其他行,利用NR变量自动加,同时用变量$0保留原来行数据。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏技术小站

(转)mysql数据库中存储数字字段时,选择int和varchar的区别

541
来自专栏北京马哥教育

必备神技能 | MySQL 查找删除重复行

来源:码农有道 ID:b497155298 本文讲述如何查找数据库里重复的行。这是初学者十分普遍遇到的问题。方法也很简单。这个问题还可以有其他演变,例如,如何...

4009
来自专栏吴伟祥

字段规范 原

431
来自专栏顶级程序员

MySQL 全文索引应用简明教程

本文从以下几个方面介绍下MySQL全文索引的基础知识: MySQL全文索引的几个注意事项 全文索引的语法 几种搜索类型的简介 几种搜索类型的实例 全文索引的几个...

37310
来自专栏Taylor技术日志

关于char/varchar(n)中n的探究:字符数or字节数

很多时候我们不确定某个字段的长度,会使用varchar类型,比如某个字段定义为varchar(100),那这100的长度能存多少个中文?

4137
来自专栏YG小书屋

ES 查询优化(一)

4435
来自专栏互联网开发者交流社区

SQL基础日期函数

1095
来自专栏李智的专栏

pandas数据清洗,排序,索引设置,数据选取

df.isnull() df的空值为True df.notnull() df的非空值为True

902
来自专栏十月梦想

多维数组追加,修改,查询,删除

找到指定元素进行修改,查询,删除,追加,和一维数组操作实际一样,关键找到需要修改多维数组需要修改元素的位置。修改代码演示:

632
来自专栏文渊之博

Hive 时间日期处理总结

最近用hive比较多,虽然效率低,但是由于都是T+1的业务模式。所以也就不要求太多了,够用就行。其中用的吧比较多就是时间了,由于大数据中很多字段都不是标准的时间...

3687

扫码关注云+社区