专栏首页my notebookLinux去重,实现类似mysql的distinct的功能
原创

Linux去重,实现类似mysql的distinct的功能

拿了一份邮箱地址,想要对地址进行去重。

打开文件一看,好几列。有逗号区分也有空格区分

9589,860122@qq.com,1,1,2015-04-08 15:31:07.763000000,陕西省咸阳市,qq.com,59590,4605708@qq.com,1,1,2015-04-08 15:31:07.763000000,广东省深圳市,qq.com,59591,3307150@qq.com,1,1,2015-04-08 15:31:07.763000000,浙江省杭州市,qq.com,59592,1378747@qq.com,1,1,2015-04-08 15:31:07.763000000,四川省达州市,qq.com,5

命令1:

#获得去重后的结果
cat test.txt| awk '{print $2}' | sort |uniq

#只显示重复的列
cat 001.csv | awk -F ";" '{print $2}' | sort | uniq -d
#多个字段作为主键,去重
cat 001.csv | awk -F ";" '{print $1"-"$2}' | sort | uniq -d

按空格区分进行去重,所以得出的是15:31:07.763000000,陕西省咸阳市,qq.com,5这后半部分。

命令2:

cat test.txt| awk -F "," '{print $2}' | sort |uniq >> all.txt

按逗号区分,筛选出第2列,并将结果导入新的文件中

命令3:

awk '{print $1}' all.txt |grep -v "qq.com" | grep -v "163.com" |grep -v "sina.com" | uniq | sort -n

排除文件中包含qq.com,163.com,sina.com的行

命令4:

sed -i '/000/d' all.txt

删除all.txt文件中包含"000"的行

命令5:

awk 'BEGIN{srand()}{b[rand()NR]=$0}END{for(x in b)print b[x]}' all.txt

随机乱序all.txt文件中的行

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 实用FRIDA进阶:内存漫游、hook anywhere、抓包

    本章中我们进一步介绍,大家在学习和工作中使用Frida的实际场景,比如动态查看安卓应用程序在当前内存中的状态,比如指哪儿就能hook哪儿,比如脱壳,还有使用Fr...

    悲伤的夏洛特@席玉铎666
  • 实用FRIDA进阶:内存漫游、hook anywhere、抓包

    本章中我们进一步介绍,大家在学习和工作中使用Frida的实际场景,比如动态查看安卓应用程序在当前内存中的状态,比如指哪儿就能hook哪儿,比如脱壳,还有使用Fr...

    悲伤的夏洛特@席玉铎666
  • 实用FRIDA进阶:脱壳、自动化、高频问题

    前面我们聊到了Frida在内存漫游、hook anywhere、抓包等场景中地用法,今天我们聊Frida在脱壳、自动化的用法以及经常被问到的高频问题。

    悲伤的夏洛特@席玉铎666
  • 没抢到?意匠轩新三板竟错失域名

    扬州意匠轩园林古建筑营造股份有限公司日正式挂牌新三板,采用5声母yzyjx.com。

    躲在树上的域小名
  • 用 Wolfram 语言编写的韩国疫情仪表板

    https://github.com/yusungchang/corona19korea.com

    WolframChina
  • 买家4.5万拍下品相兼优四声母域名

    买域名要快很准,看准好的含义就要下手,有米友爆料,一买家以4.5万多元的价格拍得一枚品相兼优的4声母wwqp.com。

    躲在树上的域小名
  • 隔墙有眼!Wi-Fi让你拥有透视术

    大数据文摘
  • 小玩意:golang加载执行shellcode

    今天看到一个比较好玩的东西,虽然原理很简单,但是使用golang来做还是挺新鲜,所以还是分享给大家。

    七夜安全博客
  • 高级白帽收入远超软件工程师平均薪资 | HackerOne 2018白帽黑客报告

    我们正身处一个黑客时代:他们有时被誉为英雄;有时也是媒体的每日话题,不时会被丑化;他们还是好莱坞青睐的形象,常常在影片中出镜。他们可以有任意一种面孔,但每一种,...

    FB客服
  • 逆向工具Monkey Dev(非越狱开发)

    MonkeyDev是一位大神基于iOSOpenDev重新弄的,是一款非越狱插件开发集成神器!大神就是大神!

    honey缘木鱼

扫码关注云+社区

领取腾讯云代金券