对于删除文件中的重复行,比如处理如下文件
[root@mobius ~]$cat file_test.txt
aaa
bbbbb
ccccc
123
aaaaa
123
bbb
aaa
需要得到的删除为:
123
aaa
aaaaa
bbb
bbbbb
ccccc
下面给出四种方法
有关 sort
命令操作见Linux 工作常用命令笔记-sort排序
解决方案如下:
[root@mobius ~]$sort -u file_test.txt
123
aaa
aaaaa
bbb
bbbbb
ccccc
解决方案:
[root@mobius ~]$sort file_test.txt | uniq
123
aaa
aaaaa
bbb
bbbbb
ccccc
注意:只用uniq
无法达到预期效果
解决方案:
[root@mobius ~]sort file_test.txt | awk '{if($0!=line)print; line=$0}'
123
aaa
aaaaa
bbb
bbbbb
ccccc
注意:只用awk
无法达到预期效果
解决方案:
[root@mobius ~]sort file_test.txt | sed '$!N; /^\(.*\)\n\1$/!P; D'
123
aaa
aaaaa
bbb
bbbbb
ccccc