linux uniq去重

uniq 是 Linux 中的一个命令行工具，用于检查和删除文本文件中的重复行。它通常与 sort 命令结合使用，因为 uniq 只能去除相邻的重复行。

基础概念

uniq 命令的基本语法如下：

uniq [选项] 输入文件

相关优势

1. 简单易用：只需一行命令即可实现去重功能。
2. 高效：对于大型文件，uniq 也能快速处理。
3. 灵活：通过不同的选项，可以实现多种去重和处理需求。

类型及应用场景

1. 基本去重：删除相邻的重复行。

sort file.txt | uniq

1. 统计重复行数：使用 -c 选项可以统计每行出现的次数。

sort file.txt | uniq -c

1. 只显示重复行：使用 -d 选项可以只显示出现多次的行。

sort file.txt | uniq -d

1. 只显示唯一行：使用 -u 选项可以只显示出现一次的行。

sort file.txt | uniq -u

遇到的问题及解决方法

1. 非相邻重复行无法去除：uniq 只能去除相邻的重复行，因此在使用前通常需要先使用 sort 命令对文件进行排序。

sort file.txt | uniq

1. 处理大文件时的性能问题：对于非常大的文件，可以考虑使用 awk 或其他更高效的工具进行处理。
2. 保留原始行号：如果需要在去重的同时保留原始行号，可以使用 awk 或 perl 等脚本语言进行处理。

示例代码

假设有一个名为 file.txt 的文件，内容如下：

apple
banana
apple
orange
banana
grape

使用 uniq 命令进行去重：

sort file.txt | uniq

输出结果：

apple
banana
grape
orange

如果需要统计每行出现的次数：

sort file.txt | uniq -c

输出结果：

      2 apple
      2 banana
      1 grape
      1 orange