[ Shell篇 ] - AWK征服数据处理
、
实际过程中一些从软件导出来的配置文件格式格式比较混乱，一般需要整理成特定的格式，才好处理，场景如下:
- 配置功放芯片TAS5754的EQ，软件导出来的格式如下:
# --------------------------------------------------------------- page 0 is selected
w 98 00 00
# --------------------------------------------------------------- page 1 is selected
w 98 00 01
# # reg[1][3] = 0x4
w 98 03 04
# --------------------------------------------------------------- page 0 is selected
w 98 00 00
# # reg[0][0x3] = 0x11
w 98 03 11
# # reg[0][2] = 0x10
w 98 02 10
# --------------------------------------------------------------- page 44 is selected
w 98 00 2c
# (Bit 31-24) ------------ MSB DAC COEFF No. 0
w 98 08 ff
# (Bit 23-16)
> ff
# (Bit 15-8)
> ff
# (Bit 7-0)
> 00
# (Bit 31-24) ------------ MSB DAC COEFF No. 1
> 80
# (Bit 23-16)
> 00
# (Bit 15-8)
> 00
# (Bit 7-0)
> 00
# (Bit 31-24) ------------ MSB DAC COEFF No. 2
> 40
# (Bit 23-16)
> 00
# (Bit 15-8)
> 00
# (Bit 7-0)
> 00
# (Bit 31-24) ------------ MSB DAC COEFF No. 3
> 7f
# (Bit 23-16)
> ff
# (Bit 15-8)
> ff
# (Bit 7-0)
> 00
....
总共有7642行- 这种格式文件一般需要写一个脚本去过滤掉无用的数据，可以发现这个文件有需要的数据有一些规律：w和> 都是想要数据，有了这个规律就好办了, 最终完成之后的数据如下:
// 只提取了所有w开头的第2行和第3行数据和> 开头的第1行数据
00 00
00 01
03 04
00 00
03 11
02 10
00 2c
08 ff
ff
ff
00
80
00
00
00
40
00
00
00
7f
ff实现步骤
一看这个文件基本都是列的操作，所以使用awk这个强大的工具过滤掉无用的数据。这个命令很久没有了，重点可以参考AWK 简明教程和三十分钟学会AWK快速了解该命令的用法，这里不介绍基本语法。
提取w和>开头的所有数据
$FILE=源文件
$PROCESS=处理之后的数据
#匹配第一行如果是w,则打印$2,$3,$4，如果第一行是>,则打印$2
awk '{if($1 ~/w/) print $2,$3,$4; else if($1 ~/>/) print $2}' $FILE > $PROCESS
这里使用了if和else语句，如果$1（第1列）和w匹配，则打印 第2,3,4列
如果$1和>匹配，则只打印第2列
其中 ~ 表示模式开始。/ /中是模式。这就是一个正则表达式的匹配。完成之后的数据变为：
98 00 00
98 00 01
98 03 04
98 00 00
98 03 11
98 02 10
98 00 2c
98 08 ff
ff
ff
00
80
00
00
00提取以98开头的第2列和第3列
$PROCESS=只有w和>开头的数据
# 如果第一行是98,则打印第2.3行，否则打印第一行
awk '{if($1 ~ /98/) print $2,$3; else print $1}' $PROCESS > $FINISH_HEX最终通过awk完成了数据的过滤.
文章参考
书籍推荐
豆瓣评分9.6分
原版英文书，国人译成中文版本AWK中文版本
本文参与 腾讯云自媒体分享计划，分享自作者个人站点/博客。
原始发表：2018年11月18日，如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读
目录