Linux命令 第10节 grep文本搜索工具

跟我一起学嵌入式linux开发之常用命令: grep文本搜索工具

1.命令功能

grep 即 global search regular expression,grep 命令是一种强大的文本搜索工具,它能使用正则表达式搜索文本,并把匹配的行打印出来。

该命令组包含:grep,egrep 和 fgrep 命令,还有一个 zgrep 。grep命令一次只能搜索一个指定的模式;egrep命令等同于grep -E,可以使用扩展的字符串模式进行多模式搜索;fgrep命令等同于grep -F,是快速搜索命令,它检索固定字符串,但不识别正则表达式。

2.命令格式

grep[选项]match_pattern[文件名1,文件名2,…]grep[选项][-e match_pattern -f 文件][文件名1,文件名2,…]3.命令参数

-a 不要忽略二进制数据。-A 除了显示符合范本样式的那一行之外,并显示该行之后的内容。-b 在显示符合范本样式的那一行之外,并显示该行之前的内容。-c 计算符合范本样式的列数。-C或- 除了显示符合范本样式的那一列之外,并显示该列之前后的内容。-d 当指定要查找的是目录而非文件时,必须使用这项参数,否则grep命令将回报信息并停止动作。-e 指定字符串作为查找文件内容的范本样式。-E将范本样式为延伸的普通表示法来使用,意味着使用能使用扩展正则表达式。-f 指定范本文件,其内容有一个或多个范本样式,让grep查找符合范本条件的文件内容,格式为每一列的范本样式。-F将范本样式视为固定字符串的列表。-G将范本样式视为普通的表示法来使用。-h 在显示符合范本样式的那一列之前,不标示该列所属的文件名称。-H在显示符合范本样式的那一列之前,标示该列的文件名称。-i 忽略字符大小写的差别。-l 列出文件内容符合指定的范本样式的文件名称。-L列出文件内容不符合指定的范本样式的文件名称。-n 在显示符合范本样式的那一列之前,标示出该列的编号。-q 不显示任何信息。-R/-r 此参数的效果和指定“-d recurse”参数相同。-s 不显示错误信息。-v 反转查找。-w 只显示全字符合的列。-x 只显示全列符合的列。-y 此参数效果跟“-i”相同。-o 只输出文件中匹配到的部分。

pattern正则表达式元字符集(基本集):

^ 锚定行的开始 如:’^grep’匹配所有以grep开头的行。$ 锚定行的结束 如:’grep$’匹配所有以grep结尾的行。. 匹配一个非换行符的字符 如:’gr.p’匹配gr后接一个任意字符,然后是p。* 匹配零个或多个先前字符 如:’ *grep’匹配所有一个或多个空格后紧跟grep的行。 .*一起用代表任意字符。[] 匹配一个指定范围内的字符,如'[Gg]rep’匹配Grep和grep。[^] 匹配一个不在指定范围内的字符,如:'[^A-FH-Z]rep’匹配不包含A-F和H-Z的一个字母开头,紧跟rep的行。(..) 标记匹配字符,如:'(love)’,love被标记为1。> 锚定单词的结束,如’grep>’匹配包含以grep结尾的单词的行。x{m} 连续重复字符x,m次,如:’o’匹配包含连续5个o的行。x{m,} 连续重复字符x,至少m次,如:’o’匹配至少连续有5个o的行。x{m,n} 连续重复字符x,至少m次,不多于n次,如:’o’匹配连续5–10个o的行。w 匹配一个文字和数字字符,也就是[A-Za-z0-9],如:’Gw*p’匹配以G后跟零个或多个文字或数字字符,然后是p。W w的反置形式,匹配一个非单词字符,如点号句号等。W*则可匹配多个。b 单词锁定符,如: ‘bgrepb’只匹配grep,即只能是grep这个单词,两边均为空格。4.使用场景

场景1:从管道()输入中搜索

在开发驱动的时候一般都会使用 printk 输出 debug 信息辅助调试,printk 输出的信息可以通过 dmesg 命令查看,但是大部分时候驱动输出信息会淹没在繁杂的系统log中,为了提取指定的驱动信息,常采样的方法如下:

提取 ipmi 相关log:$ dmesg grep ipmi[4.537236] ipmi message handler version39.2[4.542648] ipmi_si: probing via SMBIOS[4.542650] ipmi_si: SMBIOS: io0xca2regsize1spacing1irq[4.542651] ipmi_si: Adding SMBIOS-specified kcs state machine[4.542653] ipmi_si: probing via SPMI[4.542654] ipmi_si: SPMI: io0xca2regsize1spacing1irq

上面命令中间的 “” 是管道链接符,功能是将前一个命令的输出作为后一个命令的输入,后期文章将做更详细讲解。

类似的信息提取常用操作如下:

获取本机所有IP$ ifconfig grep "[0-9]\[.][0-9]\[.][0-9]\[.][0-9]\"inet 10.239.85.234 netmask 255.255.255.0 broadcast 10.239.85.255inet 10.1.100.190 netmask 255.255.255.0 broadcast 10.1.100.255inet 127.0.0.1 netmask 255.0.0.0上面命令中的正则表达式的意思参考上文“pattern正则表达式元字符集(基本集)”。查找匹配的进程$ ps -aux grep -i "work$"root 31760 0.0 0.0 19984 1124 pts/14 S+ 09:37 0:00 tmux a -t work从历史记录里查找输入过的git命令$ history grep git 387 git branch 388 git status 389 git log -v多级匹配,同时匹配多个字符串,“与”匹配$ cat /etc/yum.conf grep -v "^#" grep urlbugtracker_url=http://bugs.centos.org/set_project.php?project_id=23&ref=http://bugs.centos.org/bug_report_page.php?category=yum

场景2:在一堆文件中查找指定字符串

$ lldrwxrwxr-x.2root root4096Sep2209:50PCbuild-rw-r--r--.1root root26Sep2209:53pybuilddir.txt-rw-r--r--.1root root43097Sep2209:50pyconfig.h-rw-r--r--.1root root41188Sep2209:50pyconfig.h.in-rwxr-xr-x.1root root11471600Sep2209:53pythondrwxrwxr-x.2root root4096Jan414:49Python-rw-r--r--.1root root3048Sep2209:50python-config-rw-r--r--.1root root2042Sep2209:50python-config.py-rw-r--r--.1root root60997Sep2209:50python-gdb.py# 查找包含字符串"PyImport_Cleanup"的文件,标示出所属文件,所在行号,并输出匹配行前后2行的内容$ grep"PyImport_Cleanup"-Rnb--Python/pystate.c-324-}Python/pystate.c-325-Python/pystate.c:326:/* used by import.c:PyImport_Cleanup */Python/pystate.c-327-voidPython/pystate.c-328-_PyState_ClearModules(void)--Python/import.c-400-Python/import.c-401-voidPython/import.c:402:PyImport_Cleanup(void)Python/import.c-403-{Python/import.c-404- Py_ssize_t pos;--......多模式匹配,匹配多个字符串中的一个,“或”匹配$ grep -rnb -e 'PyImport_Cleanup'-e"PyImport_ImportModule"PC/bdist_wininst/install.c:690:20210: mod =PyImport_ImportModule("builtins");PC/python34stub.def:243:4623:PyImport_CleanupPC/python34stub.def:253:4860:PyImport_ImportModulePC/python34stub.def:254:4882:PyImport_ImportModuleLevelPC/python34stub.def:255:4909:PyImport_ImportModuleNoBlock或者在当前目录中创建一个搜索模式文件“grep_pattern”,文件内容如下:$ cat grep_patternPyImport_CleanupPyImport_ImportModule$ grep -f grep_pattern *

场景3:-E 扩展匹配模式

例如上文中的多模匹配:

$ grep -rnb -e 'PyImport_Cleanup' -e "PyImport_ImportModule"

使用 -E 参数查找多个模式:

$ grep -Ernb "PyImport_Cleanup PyImport_ImportModule"

或者

$ egrep -rnb "PyImport_Cleanup PyImport_ImportModule"

egrep = grep -E 可以使用基本的正则表达外,还可以用扩展表达式。

扩展表达式:

匹配一个或者多个先前的字符,至少一个先前字符。如:'[a-z]+able',匹配一个或多个小写字母后跟able的串,如loveable,enable,disable等。

? 匹配0个或者多个先前字符。

abc 匹配a或b或c,如:grepsed匹配grep或sed

() 字符组,如: love(ableers) 匹配loveable或lovers。

(..)(..)\1\2 模板匹配。 \1代表前面第一个模板,\2代第二个括弧里面的模板。

x,x,x 作用同x\,x\,x\ , x的字符数量在m到n个之间。

常见操作如下:

egrep'^+'file以一个或者多个空格开头的行.grep'^*'file同上egrep'(TOMDAN) SAVAGE'file包含 TOM SAVAGE 和DAN SAVAGE的行。egrep'(ab)+'file包含至少一个ab的行。egrep'x[0-9]?'file包含x或者x后面跟着个或者多个数字的行。egrep'fun\.$'* 所有文件里面以fun.结尾的行。egrep'[A-Z]+'file至少包含一个大写字母的行。egrep'[0-9]'file至少一个数字的行。egrep'[A-Z]...[0-9]'file有五个字符, 第一个式大写, 最后一个是数字的行。egrep'[tT]est'file包含单词test或Test的行。egrep'ken sun'file包含kensun的行。egrep -v'marry'file不包含marry的行。egrep -i'sam'file不考虑sam的大小写,含有sam的行。egrep -l"dear ken"* 包含dear ken的所有文件的清单。egrep -ntomfile包含tom的行,每行前面追加行号。egrep -s"$name"file找到变量名$name的, 不打印而是显示退出状态,表示找到,1表示表达式没找到符合要求的,2表示文件没找到。

关于上面命令中通配符的讲解在前期的文章中已经有所涉及,本文不再详解。

扩展

(1)zgrep

在gzip压缩文件中搜索,这个命令支持grep的一部分命令参数,使用起来并不友好,建议还是解压之后使用grep。

(2)egrep

egrep 代表着“扩展全局正则表达式”。它可以识别更多的正则表达式元字符,可以在 grep 命令中使用选项-E来启用它。egrep是用extended regular expression语法来解读的,而grep则用basic regular expression 语法解读,extended regular expression比basic regular expression的表达更规范。

(3)fgrep

相当于执行grep指令加上参数"-F",它搜索字符串而不是搜索匹配表达式的模式。fgrep 命令使用快速的压缩算法。$, *, [, , (, )和\等字符串被 fgrep 命令按字面意思解释。

fgrep 很简单就是固化表达式的搜索。如:

$ fgrep "$name...[a-z]" file

在file里面找到和字符$name...[a-z]一样的行。其中$和...等没有转义的意义。

或者使用 -F 参数

$ grep -Frn"PyImport_Cleanup"Doc/c-api/import.rst:224:..c:function::voidPyImport_Cleanup()Doc/data/refcounts.dat:508:PyImport_Cleanup:void:::Include/import.h:70:PyAPI_FUNC(void) PyImport_Cleanup(void);

(4)ngrep

ngrep工具是grep命令的网络版,ngrep用于抓包,并可以通过正则表达式,过滤、获取指定样式的数据包。能识别TCP、UDP和ICMP协议,理解bpf的过滤机制。

由于我在工作中很少使用,此处不再展开。

捕捉 80端口的request和response。-d eno1 指定监听的网卡,也可以用-d any来捕捉所有的包,-W byline 用来识别换行符。

$ ngrep -W byline -d eno1 port80interface: eno1 (10.239.85.0/255.255.255.0)filter: ( port80) and ((ip ip6) (vlan && (ip ip6)))###T10.239.200.168:50456->10.239.85.234:80[A]......#T10.239.200.168:50456->10.239.85.234:80[AP]GET /getWorkloadConfig HTTP/1.1.Host:10.239.85.34.Connection: keep-alive.Origin: http://10.239.85.34:9000.User-Agent: Mozilla/5.0(Windows NT10.0; Win64; x64) AppleWebKit/537.36(KHTML, like Gecko) Chrome/63.0.3239.84Safari/537.36.Accept: */*.Referer: http://10.239.85.34:9000/.Accept-Encoding: gzip, deflate.Accept-Language: en,en-US;q=0.9,zh-CN;q=0.8,zh;q=0.7.If-None-Match: "9991f354c9ef564e382375bf48f3423bdc1b09cd"....省略...

(5)pgrep

pgrep 通过程序名字来查询正在运行进程的PID信息。

常用参数:

默认只显示PID-l 同时显示进程名和PID-o 当匹配多个进程时,显示进程号最小的那个-n 当匹配多个进程时,显示进程号最大的那个

示例:

通过 ps 查看发现有一个这样的进程:

root 12179 0.0 0.1 781812 16588 pts/10 S+ 2017 0:17 python work_server.py

然后通过 pgrep 查找结果如下:

$ pgrep GroupHttpService.py$ pgreppython-l1233python7607python9206python10787python12179python

可以发现 pgrep 查找的是程序名,不包括其参数。如果参数里包括查找的 keyword,而程序名中不包括,所则使用pgrep命令无法查到该进程。

解决办法是:

$ ps -axu grep keyword

而 pgrep 命令只是相当于 。所以,这条命令知道有就可以了,并不常用。

  • 发表于:
  • 原文链接:http://kuaibao.qq.com/s/20180111G067HG00?refer=cp_1026

扫码关注云+社区