awk一行码：求交集、差集、筛选白名单数据

众所周知，awk不是一个工具/命令，它其实是一种『编程语言』。

对于后台开发工程师而言，不管你是什么语言的工程师。对于统计线上数据，从日志提炼信息等等场景，awk都是必备神器！

场景1：

一个TAB分割的数据文件，假设名为data.txt，第二列为用户id。

从中筛选用户id为123的所有数据：

awk -F'\t' '{if($2==123) print $0}'  data.txt > new_data.txt

awk的列从1计数，1是第一列，2是第2列……

$0是特殊的变量，表示这一整行的数据。

场景2：

如果要筛选多个用户id怎么办？

可以将待筛选的用户id存入一个文件userid.txt。一行一个id。

过滤data.txt，找到userid.txt中的用户id的数据来输出。

awk -F '\t' 'BEGIN{while(getline<"userid.txt") a[$1]=1;} {if(a[$2]==1) print $0;}' data.txt > new_data.txt

（分号也可以去掉）

BEGIN语法是在逐行解析之前执行的一段代码。这里它会加载userid.txt将用户id存入关联数组a中：key是用户id，value是1。

后面的代码块开始逐行解析，用data.txt的第二列做key去关联数组a中查找。如果查找到value为1，就输出整行。

关联数组就类似其他语言里面的dict或map。

简化：交集和差集

这一行码可以改成求两个文件的交集。只需要调整读取的列号即可。

awk -F '\t' 'BEGIN{while(getline<"a.txt") a[$0]=1;} {if(a[$0]==1) print $0;}' b.txt > ab.txt

要求差集，改下判断条件，如下便是b.txt 减去 a.txt的差集了。

awk -F '\t' 'BEGIN{while(getline<"a.txt") a[$0]=1;} {if(a[$0]!=1) print $0;}' b.txt > ba.txt

有时候我们离线处理一些数据，你会说人生苦短，我用Python。

我们当然可以用Python来实现，但是很多时候，每次写一个Python脚本，有点杀鸡用牛刀的感觉。另外就是如果一个文件特别大，比如10G。Python脚本会卡很久（除非你自己做大量优化），彼时该就上演awk的拿手好戏了，快到不敢相信。