linux 去重统计个数

在Linux中，可以使用多种命令组合来实现去重并统计个数的功能，以下是一些常见的方法：

一、使用sort和uniq命令

1. 基础概念
   • sort命令用于对文本文件中的行进行排序。它按照字节顺序对输入的行进行排序，可以指定不同的排序选项，如按数值排序、按特定字段排序等。
   • uniq命令用于检查和删除文本文件中连续重复的行。如果输入的行是经过排序的，那么uniq可以有效地去除所有重复的行。

• 示例
  • 假设有一个名为test.txt的文件，内容如下：
  • 假设有一个名为test.txt的文件，内容如下：
  • 要统计其中不同水果的种类数，可以使用以下命令：
  • 要统计其中不同水果的种类数，可以使用以下命令：
  • 这里首先sort test.txt对文件内容进行排序，得到：
  • 这里首先sort test.txt对文件内容进行排序，得到：
  • 然后uniq去除连续的重复行，得到：
  • 然后uniq去除连续的重复行，得到：
  • 最后wc -l统计行数，结果为3，即不同水果的种类数为3。
• 优势
  • 简单易用，是Linux中处理文本去重统计的标准方法。
  • 对于小型到中型的文本文件处理效率较高。
• 应用场景
  • 统计日志文件中不同类型的事件数量。
  • 分析文本数据中的唯一元素个数，如在统计用户输入的不同单词数量时。

二、使用awk命令

1. 基础概念
   • awk是一种编程语言，用于在Linux/Unix下对文本和数据进行处理。它可以按照指定的规则对输入的每一行进行操作，如匹配特定模式、提取字段、计算统计信息等。

• 示例
  • 对于上述test.txt文件，可以使用以下awk命令统计不同元素的个数：
  • 对于上述test.txt文件，可以使用以下awk命令统计不同元素的个数：
  • 这里awk命令中的!seen[$0]++表示如果当前行（$0）还没有被记录在seen数组中，就执行后面的操作（这里是将该行输出），并且将seen[$0]的值加1。这样就实现了去重输出，然后再通过wc -l统计行数。
• 优势
  • 功能强大，可以在去重的同时进行更复杂的文本处理操作，如根据特定字段去重等。
  • 对于需要对数据进行更细致分析的场景比较适用。
• 应用场景
  • 当需要根据文本文件中的多个字段进行去重统计时，例如统计不同用户在不同时间段的登录次数中的唯一用户数。
  • 处理结构化的文本数据，如CSV文件中的特定列的去重统计。