Linux查找和筛选工具

本文包含: 文件名通配符、命令中的正则表达式、查找文件工具 find、查找文本工具 grep、转换和删除重复命令 tr、合并和分割工具。

1. 文件名通配符

单字符匹配元字符 ?

匹配任意一个字符

多字符匹配元字符 *

匹配0或1或多个字符

字符范围匹配符 []

匹配一个字符范围,其表现形式可以是“-”表示的字母和数字的范围,也可以是几个字符的组合

排除范围匹配符 [!]

不匹配符号内出现的字符组合或字符数字范围

2. 命令中的正则表达式

单字符匹配符 .

匹配任意一个字符

单字符或字符串重复匹配符 *

匹配单个字符或一个字符串序列的一次或多次重复出现

行首匹配符 ^

在匹配中指示行首位置字符串或模式

行尾匹配符 $

在匹配中指示行尾位置字符串或模式

反斜杠屏蔽符 \

屏蔽一些特殊字符的特殊含义

范围匹配符 [] 和排除范围匹配符 [^]

与文件名通配符中的范围匹配符和排除范围匹配符用法基本相同

词首词尾匹配符 \< \>

在文本开头或文本结尾匹配与单词开头或单词结尾相匹配的特定的字符串或模式

重复次数匹配符 x\{\}

可以精确匹配字符或字符串连续出现的次数或次数范围

3. 查找文件工具 find

基本格式

# find [path] [expression]

参数:

depth:先从当前目录查找,然后再从当前目录的子目录中查找
maxdepth LEVELS:向下搜索到第LEVELS层目录,LEVELS为0表示只在当前目录查找
mindepth LEVELS:至少向下搜索LEVELS层目录
mount:不搜索远程文件系统
follow:搜索如果遇到链接文件就连同链接所指向的文件一并查找

name:按文件名查找
iname:按文件名查找,不区分大小写
perm:按文件权限查找
tye:按文件类型查找
mtime +n[-n]:按文件内容改变的时间查找,+n表示修改时间距现在n天前,-n表示修改时间距现在n天以内
ctime +n[-n]:按文件属性改变的时间查找
atime +n[-n]:按文件访问的时间查找
size +n[-n]:按文件大小查找,+n表示文件大小大于n,-n表示文件大小小于n,n表示块,1块等于512字节
user:按文件所属主查找
group:按文件所属组查找
nouser:查找没有有效属主的文件
nogroup:查找没有有效属组的文件

prune:不再指定目录中查找
print:将查找的文件输出到标准输出
exec:对查找到的文件执行shell命令
ok:对查找到的文件执行shell命令,在每次执行前提示用户是否执行

按文件名查找

如:

# find /etc -name "*.conf"

按文件权限查找

如:

# find /etc -perm 664

按文件类型查找

如:

# find /dev -type b

按文件时间戳记查找

如:

# find /var/log -mtime -1

按文件大小查找

如:

# find /var/log -size +1M

按文件属主或属组查找

如:

# find / -user root

使用 execok 处理查找到的文件

如:

# find /var/log -size +1M -exec ls -l {} \;

使用 xargs 处理查找到的文件

如:

# find ~/ -name "test.txt" | xargs rm

4. 查找文本工具 grep

grep:global regular expression print 全局正则表达式打印

# grep [option] [pattern] [file]

参数

i:忽略大小写
n:将结果输出的同时,也输出该行行号
s:在没有查找到匹配的内容时,不显示错误信息
l:从多个文件中查找时,只输出找到匹配内容的文件名称
h:从多个文件中查找时,只输出匹配的内容,不显示文件名称
c:只输出匹配内容的总行数
v:反转查找,即输出匹配内容以外的行

例如:

查询来自云南和河南的学生信息
# grep -E 'Yunnan|Henan' students

5. 转换和删除重复命令 tr

# tr [option] [string1] [string2]

参数

c:使用string1中字符的补集替换
d:删除string1中包含的所有字符
s:删除重复字符

例如:

小写转大写
# tr -s "a-z" "A-Z" <test
删除所有重复字母
# tr -s "[a-z][A-Z]"

6. 合并和分割工具

排序 sort

# sort [option] [file]

参数

b:按字段进行分类并忽略前面的空格或制表符
d:按字典的顺序进行排序,将除空格和字母以外的字符排除
f:忽略大小写
g:根据数值进行排序
i:只考虑可打印的字符
M:将字符按月份进行比较,例如JAN<...<DEC
n:按数值进行比较排序
r:返向排序
c;测试文件内容是否已经进行了排序,若无任何返回信息,则表示已经执行了排序操作
k:指定排序的关键字
m:合并已经排序的文件,不进行排序
o:将结果写入文件,不再输出到标准输出上
s:通过屏蔽最后的分类比较稳定排序
t:使用指定的字符作为字段分隔符
T:将临时文件放入指定的目录内
u:如果与参数c一起使用,则检查是否在排序时已经去除重复的行,没有参数c时,则在排序时去掉重复行
z:用一个0字节作为结束,而不是一个换行符

例如:

对students文件第5个字段第8个字符按数字从大到小排序
# sort -k5.8nr students
先对students文件第5个字段排序,再按第10个字段排序
# sort -k 5,10n students
指定“#”作为字段分隔符,并对students文件第三个字段进行排序
# sort -t# -k3 students
合并students1,students2到students_new
# sort -m students1 students2 >students_new

数据剪切 cut

cut [option] [file]

参数

b:表示要操作的对象是字节
c:表示要操作的对象是字符
f:表示要操作的对象是字段
d:指定字段分隔符,默认情况下是制表符tab
s:表示不包括没有字段分隔符的行

N:表示第N个字节
N-:表示从N到一行结束的内的所有文本
N-M:表示从N到M之间的所有文本
-M:表示从开始到M之间的所有文本
-:从开始到结束的所有文本

例如:

剪切students文件所有行的前10个字符
# cut -b-10 students
以“#”为分隔符,并对students文件第1,2,4个字段进行剪切
# cut -d# -f1-2,4 students

数据粘贴 paste

paste [option] [file...]

参数

d:对新生成的文本指定新的字段分隔符,默认情况下是制表符tab
s:横向粘贴,默认纵向粘贴

例如:

纵向粘贴paste1,paste2文件
# paste paste1 paste2

数据连接 join

# join [option] file1 file2

参数

a:用于输出2个文件中有关联和没关联的行,将有关联的行执行连接后输出,没关联的行按预定的格式输出
e:在文件1和文件2中查找关联字段,如果没有关联字段,则将无关联字段的行相应的字段用参数指定的字符串替代
i:在连接过程中忽略大小写
j:使用指定的字段作为关键字段连接
o:格式化输出
t:设置字段间的分隔符,默认为空格或制表符tab
v:与参数a的作用相同,但参数v只输出无关联的行

例如:

指定使用文件1的第2个字段和文件2的第2个字段作为关键字,只显示文件1的第1、2、6字段和文件2的第3字段
# join -j1 2 -j2 2 -o "1.1,1.2,1.6,2.3" students1 students2

去除重复 uniq

#uniq [option] [input[option]]

参数

c:输出重复行的重复次数
d:仅输出重复的行
f:忽略一些字段,只比较指定字段
s:忽略一些字符,只比较指定字段
i:忽略大小写
u:输出不重复的行
w;指定要比较的字符位置

sort -uuniq 区别 sort -u 将整个文本重复行删除只保留一行 uniq 删除连续重复行只保留一行 例如:

忽略第1个字段,从第2个字段第2个字符处开始比较
# uniq -f1 -s3 char

分割文件 split

# split [option] [input file] [output file]

参数

l:按行对文件进行分割
b:按字节对文件进行分割
C:按字符对文件进行分割
d:使用数字作为输出文件的后缀

例如:

指定每3行划分为一个文件
# split -l 3 students students

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏xingoo, 一个梦想做发明家的程序员

数字按照不同格式转换成字符串

  如果自己写函数,不使用itoa怎么判断呢?   我们用通常的办法,对数字进行每位的除商,得到后与字符'0'相加。 flag = 0; ...

213100
来自专栏JetpropelledSnake

Python面试题之Python反射机制

 我们要导入另外一个模块,可以使用import.现在有这样的需求,我动态输入一个模块名,可以随时访问到导入模块中的方法或者变量,怎么做呢?

35220
来自专栏java思维导图

【一分钟知识】断言,Error和Exception区别

1、将GB2312编码的字符串转换为ISO-8859-1编码的字符串 ? 2、断言(assert) 软件开发中是一种常用的调试方式 断言用于保证程序最基本、关键...

35380
来自专栏魂祭心

原 yield用法分析

37670
来自专栏Python小屋

Python多线程编程基础2:如何创建线程

Python标准库threading中的Thread类用来创建和管理线程对象,支持使用两种方法来创建线程:1)直接使用Thread类实例化一个线程对象并传递一个...

27040
来自专栏微信公众号:Java团长

Java虚拟机体系结构

  众所周知,Java支持平台无关性、安全性和网络移动性。而Java平台由Java虚拟机和Java核心类所构成,它为纯Java程序提供了统一的编程接口,而不管下...

12720
来自专栏互联网杂技

yield 原理篇

新版JS中,yield估计是最吸引人的新功能,特别是Node出来之后,大家被异步折腾的够呛,而借助于yield 可以用比较优雅的处理异步流程。 但是yield关...

34480
来自专栏上善若水

040android初级篇之标准java版的HelloWorld编译及运行

运行的时候,如果 .class文件不在当前目录则需要使用-classpath 指定所在目录。

9430
来自专栏后端技术探索

实用篇-无处不在的Location

location配置是nginx模块化配置中最出色的一个设计,几乎所有nginx的业务场景都要通过书写多个location配置来顺应业务需要。语法配置和执行规则...

12320
来自专栏WebDeveloper

php缓冲区与header函数之间的秘密

我们在实际的开发中,是否听说过在header之前不能有任何的实际输出。甚至有的认为header函数必须写在代码的最前面。可是你是否试验过header函数之前输出...

13420

扫码关注云+社区

领取腾讯云代金券