awk学习笔记(一)

1. 问题引入

现阶段提取文本记录或字段时,用awk比较多,同时也多和grep, 管道等一起使用。比如,我要提取call variation之后文件中表示SNP记录的1,2,4,5列。

1.1 说明

:返回这一行第四个元素的长度

:管道,将前面的标准输出作为后面命令的标准输入

-S:取消自动换行

-x 16:表示一个字段的宽度

“^#”:表示正则表达式,匹配以#开头的行

-v:表示不能匹配上的

2. awk的基本用法

awk [ -F “fs“ ] [ -v var=value … ] ‘program’

awk总是一行一行来处理,这一点类似grep, sed

注意这几个地方:

标量变量的定义与初始化中,变量名称前面没有使用$;

短程序中,执行语句与执行语句之间用";"分隔;

判断条件,可以是if语句,放在主{}里面,位于’{ (xxx)}’;也可以是正则表达式或是等式,不等式,直接放在’短程序’中,如’ { xxx }’;

’短程序’中可以加上BEGIN, END模式,分别位于最前和最后。BEGIN用来处理初始化内容,只执行一次。END在所有输入数据处理完之后执行一次;

比如,上面命令中短程序部分改为:

(注意到了吗,使用标量变量var时也没有加$。var = "SNP"也可以跟在”awk”后面,用-v选项引出来。)

2.1 字符串比较运算符

==, !=, , >=

字符串的大小比较为真的前提是一个字符串为另一个字符串的子串,比如“ABC” 连接操作符

两个相邻的字符串会自动连接,这和Perl中的点号”.”连接字符串有区别。

字符串函数

length(x)返回字符串的长度

substr(str, start, len)提取字符串,编号从1开始

tolower(x), toupper(x)返回大小写转换后的字符串

index(str, find)查找字符串,找到返回下标,找不到返回0

sub/gsub(正则表达式, 替换文本, 目标文本)替换字符串,不过返回值是替换的次数,gsub表示全局替换

2.2 数值数值运算符(和其他编程语言是一样的)

数值函数

int(x)返回整数部分

exp(x)返回e的x次幂

log(x)返回x的自然对数

sqrt(x)返回x的平方

2.3 字符串与数字的转换

n=123; s=””123数字转字符串

s=”123”; n=0+s字符串转数字

2.4 常用的内部变量

FILENAME: 当前输入文件的名称,当awk前面使用管道是,为”-”;

FNR: 当前输入文件的记录数;

FS: 字段分隔符

超过一个字符时,视为正则表达式;

默认是空格,但其实制表符也能同样识别;

当分隔符设定为空字符串时,会拆散字符串;

和-F选项作用一样;

NF: 当前记录的字段数;

NR: 在工作中的记录数;放在短程序中相同位置的话,好像和FNR是差不多的,比如放在主{}中表示当前是第几行记录

OFS: 输出字段分隔字符(默认是空格);

ORS: 输出记录分隔字符(默认是换行符),用法和上面类似。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20181220G1JNFT00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券