linux文本处理三剑客之awk

一门语言，类似于C语言
过滤，统计，计算
过滤，统计日志

-F 指定分隔符 指定每一列结束标记（默认是空格，连续的空格,tab键）
$数字 取出某一列，注意：在awk中$内容一个意思 表示取出某一列
$0整行的内容，
{print xxx}
$NF表示最后一列（示例）
awk '{print $NF}' access.log.20220304000301

行与列名称
awk取行与列，指哪打哪
取出网卡ip地址

支持扩展正则
awk可以精确到某一列，某一行中包含/不包含.....内容。
~包含
!~不包含

/哪里开始/,/哪里结束/ 常用
NR==1，NR==5  从第1行开始到第5行结束   类似于sed -n '1,5p'


#显示指定时间(11:02:00到11:02:30)范围内容的ip地址和用户访问uri column -t(自动对齐)
awk '/11:02:00/,/11:02:30/{print $1}' access.log.20220304000301
awk '/11:02:00/,/11:02:30/{print $1,$7,$9,$10}' access.log.20220304000301 |column -t

#统计/etc/services  里面有多少个空行
awk '/^$/' /etc/services

awk '/^$/{i++}END{print i}' /etc/services

#seq 100 求和1+2+3.。。+100 awk实现
seq 100 |awk '{sum=sum+$1}END{print sum}'

#awk中字母  会被识别为变量，如果只是想使用字符串需要使用双引号引起来  
awk 'BEGIN{a[0]=oldboy;a[1]=liao; print a[0],a[1]}'

[root@heimajinpai ~]# awk 'BEGIN{a[0]=12306;a[1]="liao"; for(i in a) print i }'
0
1
[root@heimajinpai ~]# awk 'BEGIN{a[0]=12306;a[1]="liao"; for(i in a) print a[i] }'
12306
liao
[root@heimajinpai ~]# awk 'BEGIN{a[0]=12306;a[1]="liao"; for(i in a) print i,a[i] }'
0 12306
1 liao

http://www.etantian.org/index.html
http://www.etantian.org/1.html
http://post.etantian.org/2.html
http://mp3.etantian.org/3.html
http://www.etantian.org/4.html
http://post.etantian.org/5.html
[root@heimajinpai test]# awk -F"[/]+" '{print $2}' url.txt
www.etantian.org
www.etantian.org
post.etantian.org
mp3.etantian.org
www.etantian.org
post.etantian.org
[root@heimajinpai test]# awk -F"[/.]+" '{print $2}' url.txt
www
www
post
mp3
www
post
[root@heimajinpai test]# awk -F"[/.]+" '{array[$2]++}END{for(i in array)print i,array[i]}' url.txt
www 3（出现的次数）
mp3 1（出现的次数）
post 2（出现的次数）

#array[]++    你要统计什么 [] 里面就是什么（某一列）
awk -F"[/.]+" '{array[$2]++}END{for(i in array)print i,array[i]}' url.txt

#统计access.log中    每种状态码出现的次数（方式一）
awk  '{array[$10]++}END{for(i in array)print i,array[i]}' access.log.20220304000301 |sort -rnk2

#统计access.log中    每种状态码出现的次数（方式一）
awk '$10~/[0-9][0-9][0-9]/{array[$10]++}END{for(i in array)print i,array[i]}' access.log.20220304000301 |sort -rnk2

for n in 1 2 3
do
    echo $n
done

#1+100
[root@heimajinpai nginxlog]# awk 'BEGIN{for(i=1;i<=100;i++)sum+=i;print sum}'
5050
[root@heimajinpai nginxlog]#

df -h |awk -F"[ %]+" 'NR>1{if($5>=70)print "disk not enough"}'

df -h |awk -F"[ %]+" 'NR>1{if($5>=1)print "disk not enough",$1,$5,$NF}'