Linux实用技巧——删除重复行

莫斯

发布于 2020-09-10 10:37:43

2.8K0

发布于 2020-09-10 10:37:43

文章被收录于专栏：备份备份

对于删除文件中的重复行，比如处理如下文件

[root@mobius ~]$cat file_test.txt
aaa
bbbbb
ccccc
123
aaaaa
123
bbb
aaa

需要得到的删除为：

123
aaa
aaaaa
bbb
bbbbb
ccccc

下面给出四种方法

解决方案如下：

[root@mobius ~]$sort -u file_test.txt
123
aaa
aaaaa
bbb
bbbbb
ccccc

解决方案：

[root@mobius ~]$sort file_test.txt | uniq
123
aaa
aaaaa
bbb
bbbbb
ccccc

注意：只用uniq无法达到预期效果

解决方案：

[root@mobius ~]sort file_test.txt | awk '{if($0!=line)print; line=$0}'
123
aaa
aaaaa
bbb
bbbbb
ccccc

注意：只用awk无法达到预期效果

解决方案：

[root@mobius ~]sort file_test.txt | sed '$!N; /^\(.*\)\n\1$/!P; D'
123
aaa
aaaaa
bbb
bbbbb
ccccc

本文参与腾讯云自媒体分享计划，分享自作者个人站点/博客。

原始发表：2018-12-07 ，如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自作者个人站点/博客前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与腾讯云自媒体分享计划，欢迎热爱写作的你一起参与！

登录后参与评论

0 条评论

热度