首页
学习
活动
专区
工具
TVP
发布

Linux 命令 | uniq

Linux 命令 uniq 命令解析 uniq 的作用是用于过滤、统计和操作文本文件中相邻且重复的行。...uniq 的一般形式如下: uniq [-c| -d| -u] [-i] [input_file] [output_file] -c:在每行前面添加该行在文件中出现的次数; -d:仅显示有重复的行;...orange banana apple pear banana grape $ uniq -c linyi.txt 2 apple 1 orange 2 banana 1 pear 1 grape...Linux 命令 uniq 命令注意事项 uniq 命令只能处理相邻行的重复,如果两个重复行不在一起,需要先通过其他命令将它们放在一起再使用 uniq 命令uniq 命令默认是区分大小写的,如果需要忽略大小写需要使用...-i 参数; 可以通过 sort 命令对文件进行排序后再使用 uniq 命令,这样可以处理任意位置的重复行; uniq 命令也可以用来查找文件中唯一的行或者查找唯一的行后删除其它行,使用 -u 参数就可以实现这样的效果

15610
您找到你想要的搜索结果了吗?
是的
没有找到

每天学一个 Linux 命令(33):uniq

昨日推荐:每天学一个 Linux 命令(32):sort 命令简介 uniq 命令用于去除文件中重复行,一般与 sort 命令结合使用。...语法格式 uniq [选项] [标准输入 [输出]] uniq [OPTION] [INPUT [OUTPUT]] 输入文件 #指定要去除的重复行文件。...选项说明 -c #在每列旁边显示该行重复出现的次数 -d #只显示重复出现的行与列 -f #忽略比较指定的字段 -s #忽略比较指定的字符 -i #不区分大小写的比较 -u #只显示出现过一次的行与列...-u test.txt This is also also a test line [root@centos7 ~]# sort test.txt |uniq -u This is also also...a test line #统计各行在文件中出现的次数 [root@centos7 ~]# sort test.txt |uniq -c 1 This is also also a test

72510

详解uniq命令使用实例

uniq命令本身被用作去除文本文件中的重复行,与sort命令相似,但是始终还是有区别的。文本文件在Linux中,既可以是txt,也可以是其他任意自定义格式。...1、 使用 uniq 命令删除文件中的连续重复行 如果你在不使用任何参数的情况下使用 uniq 命令,它将删除所有连续的重复行,只显示唯一的行。...我们使用 sort 命令uniq 命令结合,因为,就像我提到的,除非重复行是相邻的,否则 uniq 不会删除它们。...要做到这一点,使用 -c 选项,如下所示: sort ostechnix.txt | uniq -c 示例输出: Linus is the creator of Linux....,然后显示,如下所示: sort ostechnix.txt | uniq -c | sort -nr 示例输出: welcome to ostechnix Linus is the creator

97230

Linux日志审计中的常用命令: sed、sort、uniq

AI摘要:本文介绍了Linux日志审计中三个重要命令:`sed`、`sort`、和`uniq`的用法及其常用参数。...Linux日志审计常用命令: sed、sort、uniqLinux系统中,日志审计是一项重要的任务,可以帮助我们了解系统的运行状况,排查问题,并保证系统的安全。...以下是uniq命令的常用参数: -c: 统计每行出现的次数 -d: 只显示重复的行 -u: 只显示唯一的行 3.1 统计每行出现的次数 使用-c参数可以统计每行出现的次数。...-c | # 按访问次数从高到低排序 sort -nr 解释: 使用sed命令提取每行日志中的IP地址 使用sort命令对IP地址进行排序 使用uniq -c统计每个IP出现的次数 使用sort -nr...总结 本文详细介绍了Linux日志审计中常用的sed、sort和uniq命令的用法,并结合实例说明了它们的常用参数和作用。熟练掌握这三个命令,可以大大提高我们分析和处理日志的效率。

9210

uniq命令 – 去除文件中的重复行

uniq命令全称是“unique”,中文释义是“独特的,唯一的”。该命令的作用是用来去除文本文件中连续的重复行,中间不能夹杂其他文本行。去除了重复的,保留的都是唯一的,也就是独特的,唯一的了。...语法格式:uniq [参数] [文件] 常用参数: -c 打印每行在文本中重复出现的次数 -d 只显示有重复的纪录,每个重复纪录只出现一次 -u 只显示没有重复的纪录 参考实例 删除连续文件中连续的重复行...85 Linux 85 [root@linuxcool ~]# uniq testfile test 30 Hello 95 Linux 85 打印每行在文件中出现重复的次数: [...root@linuxcool ~]# uniq -c testfile 3 test 30 4 Hello 95 2 Linux 85 只显示有重复的纪录...,且每个纪录只出现一次: [root@linuxcool ~]# uniq -d testfile test 30 Hello 95 Linux 85 只显示没有重复的纪录: [root

2.9K00

使用uniq命令去除文件中的重复行

uniq命令全称是“unique”,中文释义是“独特的,唯一的”。该命令的作用是用来去除文本文件中连续的重复行,中间不能夹杂其他文本行。去除了重复的,保留的都是唯一的,也就是独特的,唯一的了。...语法格式:uniq [参数] [文件] 常用参数: -c 打印每行在文本中重复出现的次数 -d 只显示有重复的纪录,每个重复纪录只出现一次 -u 只显示没有重复的纪录 参考实例 删除连续文件中连续的重复行...85 Linux 85 [root@linuxcool ~]# uniq testfile test 30 Hello 95 Linux 85 打印每行在文件中出现重复的次数: [...root@linuxcool ~]# uniq -c testfile 3 test 30 4 Hello 95 2 Linux 85 只显示有重复的纪录...,且每个纪录只出现一次: [root@linuxcool ~]# uniq -d testfile test 30 Hello 95 Linux 85 只显示没有重复的纪录: [root

2K00

Linux 命令 安全 (compgen -c

使用场景: 操作系统安装完成后,执行下面脚本,记录命令的md5值,当命令被修改之后,再次使用脚本即可检查出来。...:中了挖矿病毒,服务器很多资源会被占用,但是操作系统命令top,netstat之类的被修改之后,我们就很难发现拖跨服务器的进程),这个脚本提前把命令的md5值记录下来,被修改之后,我们就知道哪些命令被修改了...,然后重新传一个一样的命令到服务器上替换就是了。...就问我棒不棒^_^ 使用方法: 1.记录当前命令: sh CheckCommDDCW.sh 2.记录新增命令或被修改命令(关键词add可以替换为任意非空字符串): sh CheckCommDDCW.sh...change_comm_n=0 new_comm="" change_comm="" [ -f ${file_name} ] || touch ${file_name} for i in $(compgen -c)

2.4K20

shell特殊符号cut命令,sort_wc_uniq命令,tee_tr_split命令

笔记内容: l 8.10 shell特殊符号cut命令 l 8.11 sort_wc_uniq命令 l 8.12 tee_tr_split命令 l 8.13 shell特殊符号下 笔记日期:2017.8.16...使用-c选项可以查看第几个字符,例如我也要查看第四个字符: ?...8.11 sort_wc_uniq命令   sort命令可以对字符串或数字排序,排序的方法是安照ASCII码排序的,例如我排序passwd文件的内容: ? 例如排序一个含有特殊字符的文件: ?...wc -l命令是统计行数的: ? 加-m选项则是统计字符数,包括换行符: ? 加- w选项是安照单词统计,这个单词是以逗号或者空格分开的一个个词: ? uniq命令是去掉重复的字符: ? ?...uniq命令可以和sort命令搭配使用,先排序去重: ? 8.12 tee_tr_split命令   tee命令和输出重定向有点像,它们的区别是tee是可以看到输出重定向的结果,>则不能看到: ?

1.6K10

Linux基础第六课——grep|awk|sort|uniq

管道符 | 前面的输出作为后面的输入 grep 可以理解为正则表达式 grep [参数] 文件名 -c 打印符合要求的行数 -v 打印不符合要求的行 -n 在输出符合要求的行的同时连同行号一起输出...unique 删除重复的行 跟sort 命令 组合使用 sort -n -t ":" -k 1 | uniq -c -c 在每行前面加上出现的次数 -d 只输出重复的行 多行只输出一行 -D...只输出重复的行 多行有几行输出几行 -i 忽略大小写 yhq@yhq-virtual-machine:~$ sort test.txt | uniq -c 1 apple 2 banana...指定第几列 -r 逆向排序 cat /etc/passwd | sort -n -t ":" -k 3 -r 按照 :分割符 指定第三列 纯数值排序 逆向排序 面试题 : 查找你最常使用的10条命令...history |awk '{print $2}'| sort |uniq -c|sort -n -k 1 -r|head -n 10

1.1K40

linux学习第二十五篇:cut,sort,wc,uniq,tee,tr,split命令,shell特殊符号

命令 : cut 用来截取某一个字段 语法: cut -d ‘分隔字符’ [-cf] n 这里的n是数字 -d :后面跟分隔字符,分隔字符要用单引号括起来 -c :后面接的是第几个字符...| head -2 | cut -c2 o i sort_wc_uniq命令 命令 : sort sort 用做排序 语法: sort [-t 分隔符] [-kn1,n2] [-nru] 这里的...: uniq 去重复的行(去掉的是相邻的重复的行,如果不是相邻的即使重复也不会去重,所以需要先排序再去重) -c :统计重复的行数,并把行数写在前面 PS:不会更改文件内容 [root@xie...123 zxc 345 1 222 1 2 [root@xie-02 ~]# sort 1.txt | uniq -c //先排序再去重 2 1 2 123 2 2...LInux [root@xie-02 ~]# echo "linux" |tr '[a-z]' '[A-Z]' LINUX 命令 : split 切割文档,常用选项: -b :依据大小来分割文档

1.5K70
领券