专栏首页C/C++基础Linux命令(7)——uniq命令

Linux命令(7)——uniq命令

1.功能

用于去除有序文件中的重复行并将结果输出到标准输出。uniq经常和sort合用,为了使uniq起作用,所有的重复行必须是相邻的。

2.格式

uniq [选项] [file]

选项说明:

-c,--count:显示行出现的次数
-d,--repeated:仅显示重复出现的行,即出现次数>=2的行,且只打印一次
-D,--all-repeated[=delimit-method]:仅显示重复的行,即出现次数>=2的行,且打印重复行的所有行。其中delimit-method表示对重复行集合的分隔方式,有三种取值,分别为none、prepend和separate。其中none表示不进行分隔,为默认选项,uniq -D等同于uniq --all-repeated=none;prepend表示在每一个重复行集合前面插入一个空行;separate表示在每个重复行集合间插入一个空行。
-f,--skip-fields=N:忽略前N个字段。字段由空白字符(空格符、Tab)分隔。如果您的文档的行被编号,并且您希望比较行中除行号之外的所有内容。如果指定了选项-f 1,那么下面相邻的两行:
1 这是一条线。
2 这是一条线。
将被认为是相同的。如果没有指定-f选项,它们将被认为是唯一的。
-i,--ignore-case:忽略大小写字符的不同
-s,--skip-chars=N:跳过前面N个字符不比较
-u,--unique:只显示唯一的行,即出现次数等于1的行
-w,--check-chars=N:指定每行要比较的前N个字符数
--help:显示帮助信息
--version:显示版本信息

3.常用示例

(1)对无序文件去重无效。 testfile的内容如下:

cat testfile
hello
world
friend
hello
world
hello

直接删除未经排序的文件,将会发现没有任何行被删除:

#uniq testfile  
hello
world
friend
hello
world
hello

(2)uniq结合sort命令,对排序文件去重。

#cat testfile | sort | uniq
friend
hello
world

(3)排序之后删除了重复行,同时在行首位置输出该行重复的次数。

#sort testfile | uniq -c
1 friend
3 hello
2 world

(4)仅显示存在重复的行,并在行首显示该行重复的次数:

#sort testfile | uniq -dc
3 hello
2 world

(5)仅显示不重复的行。

sort testfile | uniq -u
friend

(6)仅显示重复的行,且显示重复行的所有行。

sort testfile | uniq -D
hello
hello
hello
world
world

(7)uniq默认是比较相邻行的所有内容来判断是否重复,我们可以通过选项-w--check-chars=N指定比较前N个字符。比如我们有如下内容的文件test.txt:

apple
application
api

打印前三个字符相同的行:

uniq -w3 -D test.txt
apple
application

参考文献

[1]Linux uniq命令.菜鸟教程 [2]Linux的 uniq 命令详解 [3]为初学者提供的uniq 命令教程及示例 [4]Linux uniq command [5]uniq manual

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 虚调用及其调用的具体形式

    虚调用是相对于实调用而言,它的本质是动态联编。在发生函数调用的时候,如果函数的入口地址是在编译阶段静态确定的,就是是实调用。反之,如果函数的入口地址要在运行时通...

    Dabelv
  • C++虚调用及其调用的具体形式

    虚调用是相对于实调用而言,它的本质是动态联编。在发生函数调用的时候,如果函数的入口地址是在编译阶段静态确定的,就是是实调用。反之,如果函数的入口地址要在运行时通...

    Dabelv
  • C++11 原生字符串

    原生字符串(Raw String)指不进行转义“所见即所得”的字符串。很多编程语言早已支持原生字符串,如C#、Python、Shell等。C++作为一门高级程序...

    Dabelv
  • Access日期时间函数

    大家好,上节简单介绍了字符函数,本节介绍下日期和时间函数。在Access中使用时,表达式中字段是需要用加中括号[],即[字段名]。

    无言之月
  • MySQL数学函数

    MySQL函数包括数学函数、字符串函数、日期和时间函数、条件判断函数、系统信息函数、加密函数等。

    静谧星空TEL
  • 湖北省会展经济发展促进会与腾讯云正式签署战略合作协议

    ? 今天,我们和湖北定了件明年的大事儿。 湖北省会展经济发展促进会与腾讯云正式签署战略合作协议,未来双方将在论坛、峰会、展会、演出等领域展开全方位合作。 明年...

    腾讯文旅
  • 《算法图解》第一章笔记与课后练习

    Zoctopus
  • 今年春节,推荐三个 AI 工具为你写春联

    盼望着,盼望着,春节就要来了,今年春节有什么值得期待的事情么?不如趁着爸妈还没来得及催婚催生之前,先好好在家里表现一番。

    HyperAI超神经
  • 《算法图解》第一章笔记与课后练习_二分查找算法

    Zoctopus
  • LeetCode 1537. 最大得分(切片取出局部最大值)

    Michael阿明

扫码关注云+社区

领取腾讯云代金券