uniq命令本身被用作去除文本文件中的重复行，与sort命令相似，但是始终还是有区别的。文本文件在Linux中，既可以是txt，也可以是其他任意自定义格式。
用于去除有序文件中的重复行并将结果输出到标准输出。uniq经常和sort合用，为了使uniq起作用，所有的重复行必须是相邻的。
经过 uniq 命令的处理，重复的行被合并成一个，没有重复的行被保留，同时在行前面加上了出现的次数。
uniq命令全称是“unique”，中文释义是“独特的，唯一的”。该命令的作用是用来去除文本文件中连续的重复行，中间不能夹杂其他文本行。去除了重复的，保留的都是唯一的，也就是独特的，唯一的了。
AI摘要：本文介绍了Linux日志审计中三个重要命令：`sed`、`sort`、和`uniq`的用法及其常用参数。`sed`用于文本处理，如替换、删除、插入操作；`sort`用于文本排序，支持数字顺序、反向排序等；`uniq`用于去重和统计重复次数。文章通过实例展示了如何结合这些命令来分析和统计日志数据，如统计网站访问日志中每个IP的访问次数并排序。这些命令的熟练使用可以提高日志分析和处理的效率，对于实现复杂的日志审计和分析任务至关重要。
本部分算是对find强大功能的扩展使用方法说明。在find的基础上，我们可与（如xargs命令）等其它基本Linux命令相结合，即能创造出无限的命令行功能，比如：可以快速查找出Linux某个文件夹及其子文件夹中的重复文件列表。要实现这个功能在流程上是比较简单的，只要查找遍历出所有文件，再通过命令去比较每个文件的MD5就OK啦。
如果你是一个Linux用户，并且工作涉及到处理和操作文本文件和字符串，那么你应该已经熟悉uniq命令了，因为它是该领域最常用的命令。
date - print or set the system date and time
Linux top命令用于实时显示 process 的动态，当我们在命令框中敲入top命令然后回车之后，可以看到如下输出：
more /proc/cpuinfo |grep “physical id”|uniq|wc -l
注：Gitlab是一个Git服务程序，有Web图形界面和一系列管理工具，具体详细介绍可以Google it。
通过管道将前一个命令(ls)的输出作为下一个命令(less)的输入，然后就可以一行一行地看。
原文链接:https://rumenz.com/rumenbiji/linux-uniq.html
more /proc/cpuinfo |grep "physical id"|uniq|wc -l
昨日推荐：每天学一个 Linux 命令（32）：sort 命令简介 uniq 命令用于去除文件中重复行，一般与 sort 命令结合使用。 语法格式 uniq [选项] [标准输入 [输出]] uniq [OPTION] [INPUT [OUTPUT]] 输入文件 #指定要去除的重复行文件。如果不指定该项，则从标准读入 输出文件 #指定要去除重复行后的内容要写入的输出文件。如果不指定此项，则将内容显示到标准输出设备（显示终端）。 选项说明 -c #在每列旁边显示该行重复出现的次数 -d #只显示
查看CPU信息命令 cat /proc/cpuinfo 1、查看物理CPU的个数 cat /proc/cpuinfo |grep "physical id"|sort|uniq|wc -l 2、查看逻辑CPU的个数 cat /proc/cpuinfo|grep "processor"|wc -l 3、查看CPU是几核 cat /proc/cpuinfo|grep "cores"|uniq 4、查看CPU的主频 cat /proc/cpuinfo|grep MHz|uniq 5、查看当前操作系统内核信息
最近遇到一个流量异常调用的接口，所以需要通过后台日志查看接口调用情况，先统计今天内接口的调用次数，再具体到对应的设备号，就知道哪台设备有问题了，初步想到wc和awk命令来筛选统计，但是真正去写的时候，发现很多写法都不太记得了，所以花了点时间去查手册，找资料，现在整理成博客，方便以后需要就马上统计出来，也分享出来，希望可以帮助需要的人
Linux 系统有很多用于快速处理数据的工具如 grep , awk , cut , sort , uniq , sort 可以帮助我们分析网络情况 , 他们非常非常地好用 , 如果你熟练掌握他们的使用技巧 , 他们则可以帮你快速定位问题 ; 接下来一步步来查看访问系统的 IP 情况
# cat /proc/cpuinfo | grep "physical id" | uniq | wc -l
前言：Linux基本指令学到这里也快接近尾声了，如果对前面内容还有不清楚建议回顾这两篇文章 。
如果你是Linux用户，并且工作涉及处理和操作文本文件和字符串，那么你应该已经熟悉了uniq命令，因为它是最常用的命令。
在前两个星期,我负责的一个小型企业网站遭受到了攻击,导致网站非常的卡，正常用户无法访问；初步判断是CC攻击; 这样的攻击防御起来还是比较简单的；后来服务器又受到了攻击，服务器卡的完全链接不上去；这个时候才知道我当时服务器的安防是有多脆弱!
读者福利：点这里送几本我们部门出的新书——《弹性计算：无处不在的算力》，免费包邮到家，欢迎大家来抽奖，也帮忙 review 下抽奖的代码。
Linux下的CPU信息全部都在/proc/cpuinfo这个文件中，可以直接打开看。
#cat /proc/cpuinfo | grep “physical id” | uniq | wc -l
这个服务器一共有64个逻辑CPU，也就是我们常说的线程数，也就说每个核可以提供两个线程。
二、管道 1.管道 （1）是什么? 命令从 标准输入 到 读取数据，并将 数据 发送到 标准输出 的能力，是使用了名为 管道 的 shell特性。 （2）管道操作符“|”（怎么做） 使用管道操
linux shell 可以用户定义函数，然后在shell脚本中可以随便调用。shell中函数的定义格式如下
日常工作中，使用Hive或者Impala查询导出来可能会存在数据重复的现象，但又不想重新执行一遍查询（查询时间稍长，导出文件内容多），因此想到了使用Linux命令将文件的内容重复数据进行去除。
#!bin/bash echo -e "------ os release ------" cat /etc/redhat-release cat /etc/issue | grep Linux echo -e "\n ------ cpu physical ------" cat /proc/cpuinfo | grep "physical id" | sort | uniq | wc -l echo -e "------ cpu info ------" cat /proc/cpuinfo | g
tail -n 2000 表示的是显示文件最后2000行，差别很大，注意灵活使用。
* 任意个任意字符 ? 任意一个字符 # 注释字符 \ 脱义字符 | 管道符 find /etc/ -type f -name “*conf” -exec cat {} >> 1.txt \; //在
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/haluoluo211/article/details/77800208
🍅 作者主页：不吃西红柿 🍅 简介：CSDN博客专家🏆、信息技术智库公号作者✌。简历模板、职场PPT模板、技术难题交流、面试套路尽管【关注】私聊我。 今日重点： ① 学会查看linux各种状态，包括：网络IO、磁盘、CPU、内存等； ② 学会理解命令所代表的含义，能够迅速发现集群存在的问题。 1、核心命令 linux 监控网络IO、磁盘、CPU、内存： CPU：vmstat 、sar –u、top 磁盘IO：iostat –xd、sar –d、top 网络IO：iftop -n、ifs
1)在当前目录中，查找后缀有 file 字样的文件中包含 test 字符串的文件，并打印出该字符串的行。此时，可以使用如下命令：
以下就是今天我们要介绍的Linux命令： man touch, cat and less sort and grep cut sed tar find diff uniq chmod 接下来让我们逐一来详细介绍。 1、man命令 第一个你需要知道的Linux命令就是man命令，该命令可以显示指定命令的用法和描述。比如你想知道ls命令的用法和选项，可以在终端执行“man ls”： 语法: man <command name> man ls root@devopscube:~# man ls
Linux - 常用命令：cut -c参数取指定位字符 history |uniq|cut -c 8-999 #截取8到999位的内容 cat /etc/passwd|awk 'NR==1' |cut -c 1,8,10,15,22- #过滤passwd密码第一行，截取指定位置，22- 为22
今天跟大家分享17个linux运维中常用的操作技巧！掌握好这些技巧，或许某一天能够让老板给你涨工资！
在上文中性能工具之linux三剑客awk、grep、sed详解，我们已经详细介绍 linux 三剑客的基本使用，接下来我们看看具体在性能测试领域的运用，本文主要介绍的是在 Tomcat 和 Nginx access日志的统计分析。
上一篇 红队视角下Linux信息收集 我们谈到红队是以提权和后渗透为主要目的而进行的信息收集，本次谈一谈在蓝队应急响应中Linux系统下比较关键的内容。
注解：if…;then …else ..fi：为if条件语句,!叹号表示反义“不存在“，-d代表目录。
基本概念 物理CPU：物理CPU就是插在主机上的真实的CPU硬件，在Linux下可以数不同的physical id 来确认主机的物理CPU个数。 核心数：物理CPU下一层概念就是核心数，我们常常会听说多核处理器，其中的核指的就是核心数。在Linux下可以通过cores来确认主机的物理CPU的核心数。 逻辑CPU：核心数下一层的概念是逻辑CPU，逻辑CPU跟超线程技术有联系，假如物理CPU不支持超线程的，那么逻辑CPU的数量等于核心数的数量；如果物理CPU支持超线程，那么逻辑CPU的数目是核心数数目的两倍。在Linux下可以通过 processors 的数目来确认逻辑CPU的数量。 超线程：超线程是英特尔开发出来的一项技术，使得单个处理器可以象两个逻辑处理器那样运行，这样单个处理器以并行执行线程。这里的单个处理器也可以理解为CPU的一个核心；这样便可以理解为什么开启了超线程技术后，逻辑CPU的数目是核心数的两倍了。 在Linxu下查看物理cpu、核心数、逻辑CPU和是否支持超线程 关于CPU的一些信息可在 /proc/cpuinfo 这个文件中查看，这个文件显示的内容类似于下图所示
Web访问日志记录了Web服务器接收处理请求及运行时错误等各种原始信息。通过对WEB日志进行的安全分析，不仅可以帮助我们定位攻击者，还可以帮助我们还原攻击路径，找到网站存在的安全漏洞并进行修复。
来自：酷 壳 - CoolShell 链接：http://33h.co/wipp1
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
云直播
对象存储
