命令行工具:awk文本处理

awk

一个强大的工具,可以同时处理行和列,好多C语言内置函数可以集成进来,非常灵活。基本模式是awk 'BEGIN{print "start"} pattern {commands} END {print "end"} file',其中BEGIN和END可选,就是开始执行真正的循环之前和之后执行的操作。

简介

有几个特殊的变量:

  • NR:number of current row,当前行号;
  • NF:number of fields,总共有多少个字段,默认是按空格分字段的;
  • $0:当前行段内容;
  • $1:第一个字段的内容

执行逻辑是:

  • 执行BEGIN块里命令
  • 读取一行内容(文件或stdin),匹配模式,若匹配成功,执行commands;匹配不成功,不执行;如果没有模式,默认都执行;重复这一步
  • 执行END块里命令

下面还是以student.csv为例:

name

gender

score

grade

David

male

85

B

Michael

female

90

A

Cammy

male

88

A

Tom

female

59

C

Cookbook

简单常见操作:

  • awk '{print $1}' student.csv:打印第一个字段,默认空格分割
  • awk '/Tom/ {print $2}' student.csv:若该行包含Tom,打印第二列,默认空格分割
  • awk -F ',' '{print $NF}' student.csv:打印最后一列,指定是按逗号分隔
  • awk '{s+=$3} END {print s}' student.csv:计算第三列的和,如果没有表头的话
  • awk 'BEGIN {getline; print $0} {s+=$3} END {print s}' student.csv:getline跳过第一行,尤其是CSV文件
  • awk 'END{print NR}' student.csv:统计有几行
计算一列和

awk -F"," 'BEGIN {getline} {s+=$3} END {print s}' student.csv结果算出score列和为322。

其中-F","告诉awk用逗号分隔;BEGIN里的get line告诉awk跳过第一行;后面每次循环加上第三列的值,结果就是求个sum。

计算某列最大值

awk -F"," 'BEGIN{getline} max < $3 {max = $3} END{print max}' student.csv得出结果90。

同样开始的时候,跳过第一行;max < $3是一个条件判断,如果遇到更大的值,将其赋给max,如果没有,继续;最后打印最大值。

awk -F"," 'BEGIN{getline} max < $3 {max = $3; maxline=$0} END{print maxline }' student.csv可以打印最大值这一行。

交换两列值

awk -F"," 'BEGIN{OFS=","} {tmp=$3; $3=$4; $4=tmp; print $0}' student.csv结果如下:

name

gender

grade

score

David

male

B

85

Michael

female

A

90

Cammy

male

A

88

Tom

female

C

59

其中BEGIN模块里先指定Output Field Separator,默认的是空格,可以重新指定为逗号;后面建立一个临时变量,然后交换第三四列;打印交换后的行。

给加一个列id

awk 'BEGIN {getline; print "id," $0} {print NR-1 "," $0}' student.csv

id

name

gender

score

grade

1

David

male

85

B

2

Michael

female

90

A

3

Cammy

male

88

A

4

Tom

female

59

C

第一行的时候,直接加id即可;其他行,利用NR变量自动加,同时用变量$0保留原来行数据。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏佳爷的后花媛

php统计查询,实时更新

在应用中我们经常会用到一些统计数据,例如当前所有(或者满足某些条件)的用户数、所有用户的最大积分、用户的平均成绩,用户的银行卡张数等等,ThinkPHP为这些统...

3073
来自专栏数据结构与算法

BZOJ1058: [ZJOI2007]报表统计

Description   小Q的妈妈是一个出纳,经常需要做一些统计报表的工作。今天是妈妈的生日,小Q希望可以帮妈妈分担一些工 作,作为她的生日礼物之一。经过仔...

2776
来自专栏Felix的技术分享

《自制搜索引擎》笔记

3703
来自专栏zhisheng

Elasticsearch 系统默认分词器

介绍:ElasticSearch 是一个基于 Lucene 的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于 RESTful web 接口。Ela...

4242
来自专栏xiaoheike

mysql 唯一索引与null.md

mysql 的唯一索引要求所有参与的列都不能够为 null 值,如果唯一索引中的任何一个元素含有 null 值,则唯一约束将不起作用。

2432
来自专栏鬼谷君

django模型

每个字段有一些特有的参数,例如,CharField(和它的派生类)需要max_length 参数来指定 VARCHAR 数据库字段的大小

792
来自专栏三丰SanFeng

无锁编程(三) - 忙等待

概念 忙等待可以认为是一种特殊的忙等待 忙等待分类 Peterson算法 xchg解法 TSL解法 自旋锁 Peterson算法 Peterson算法是一个实现...

2526
来自专栏Danny的专栏

【SSH快速进阶】——Hibernate继承映射:每个具体类映射一张表

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/huyuyang6688/article/...

944
来自专栏狂码一生

PHP无限级分类函数封装与应用

下面的讲解我用的是ThinkPHP框架,与PHP用法是一样的。 Step 1、数据表中主要字段是id、parent_id ? Step 2、SQL语句: SEL...

43413
来自专栏Python小屋

Pandas创建DataFrame对象的几种常用方法

DataFrame是pandas常用的数据类型之一,表示带标签的可变二维表格。本文介绍如何创建DataFrame对象,后面会陆续介绍DataFrame对象的用法...

4198

扫码关注云+社区