首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

常用Bash命令整理之文本处理

uniq -d example.txt # 使用 -D 选项,显示文件所有重复行 uniq -D example.txt # 使用 -u 选项,只显示文件不重复行 uniq -u example.txt...# 使用 -w 选项,限制 uniq 命令只比较每行 3 个字符是否重复 uniq -w 3 example.txt # 使用 -s 选项,避免 uniq 命令比较每行 3 个字符,只比较后面的字符是否重复...uniq -s 3 example.txt # 使用 -f 选项,避免 uniq 命令比较第一列内容,只比较后面的字符是否重复 uniq -f 1 example.txt 3.tr - 替换或删除字符...tr命令主要用于删除文件控制字符或进行字符转换。...> newfile # 若要从某个文件删除所有字符 tr -d '\0' newfile # 若要用单独换行替换每一序列一个或多个换行,请输入: tr -s '\

79810
您找到你想要的搜索结果了吗?
是的
没有找到

正则表达式

可以使用正则表达式来识别文档特定文本,完全删除该文本或者用其他文本替换它。 3.基于模式匹配从字符串中提取子字符串。 4.查找文档内或输入域内特定文本。...:匹配任意一个字符 # 剩下两个和正则是一样 正则表达式使用注意事项 1.所有符号皆为英文符号 2.使用三剑客时加引号 3.注意字符集,如果出现字符集问题,那么将字符集修改为C(小概率事件) 4...包含换行符 \n 默认情况下圆点 . 是 匹配换行符 \n 之外任何字符,加上 s 修饰符之后, . 包含换行符 \n。...匹配换行符(\n、\r)之外任何单个字符 一般该元字符单独用,配合*一起使用 * 个字符连续出现0次或多次 zl* 能匹配 "z" 以及 "zll",配合.使用要注意贪婪性 [] 字符集合,匹配所包含任意一个字符...匹配个字符出现0次或1次 "do(es)?" 可以匹配 "do" 或 "does" 。? 等价于 {0,1} 注意:并不是所有的元字符所有语言都支持。

71010

sed 命令+正则表达式

假定正在过滤一个文本文件,对于一个有1 0个字符脚本集,要求4个字符之后为X C,匹配操作如下:. . . .X C. . . . 2、在行首以^匹配字符串或字符序列    ^只允许在一行开始匹配字符单词...在行首第4个字符为1,匹配操作表示为:^ . . . 1 3、在行尾以$匹配字符串或字符    可以说$与^正相反,它在行尾匹配字符串或字符, $符号放在匹配单词后。...\s:用于匹配单个空格符,包括tab键和换行符;   \S:用于匹配单个空格之外所有字符;   \d:用于匹配从0到9数字;   \w:用于匹配字母,数字或下划线字符;   \W:用于匹配所有与...:用于匹配换行符之外所有字符。   (说明:我们可以把\s和\S以及\w和\W看作互为逆运算)   下面,我们就通过实例看一下如何在正则表达式中使用上述元字符。   ...例如:   /[^A-C]/   上述字符串将会与目标对象A,B,和C之外任何字符相匹配。

3.3K20

Python 正则表达式(RegEx)指南

*Spain$", txt)RegEx 函数re 模块提供了一组函数,允许我们在字符搜索匹配项:函数 描述findall 返回包含所有匹配项列表search 如果字符任何位置存在匹配项...任何字符换行符之外任何字符) "he..o" ^ 以...开始 "^hello" $ 以...结束 "planet$" - 零次或多次出现 "he...."falls|stays" () 捕获和分组 特殊序列特殊序列是一个 \ 后面跟着下面列表个字符,具有特殊含义:字符 描述 示例\A 如果指定字符位于字符开头,则返回一个匹配项...a、r 和 n 之外任何字符匹配项[0123] 返回字符存在任何指定数字(0、1、2 或 3匹配项[0-9] 返回字符存在任何数字(0 到 9)匹配项[0-5][0-9] 返回字符存在任何两位数匹配项...:返回字符任何 + 字符匹配项findall() 函数findall() 函数返回一个包含所有匹配项列表。

18200

Linux常用命令大全(整理自用)

ls -A 列出.及..其它文件 ls -r 反序排列 ls -t 以文件修改时间排序 ls -S 以文件大小排序 ls -h 以易读大小显示 ls -l 除了文件之外,还将文件权限、所有者、...rm [选项] 文件… 实例 删除任何 .log 文件删除逐一询问确认: rm -i *.log 删除 test 子目录及子目录中所有档案删除,并且不用一一确认: rm -rf test 删除以 -...实例 将文件 test.log 重命名为 test1.txt mv test.log test1.txt文件 log1.txt,log2.txt,log3.txt 移动到根 test3 目录 mv...*reason$' #其中.表示一个字符,*表示任务多个;.*表示任意多个字符 find 命令 用于在文件查找文件,并作出相应处理。...从第二个字符开始到第十个 9 个字符3 个字符一组,分别表示了 3 组用户对文件或者目录权限。权限字符用横线代表空许可,r 代表只读,w 代表写,x 代表可执行。

2.3K10

正则表达式和grep使用

如果这个模式包含空格,就必须用引号把它括起来。 grep命令,模式可以是一个被引号括括起来字符串,也可以是单个词,位于模式之后所有单词都被视为文件名。...匹配换行外个字符 /l..e/ 匹配包含字符 l、后跟两个任意字符、再跟字母 e 行 * 匹配零个或多个前导字符 /*love/ 匹配在零个或多个空格紧跟着模式 love 行 [] 匹配指定字符组内任一字符...如果要在一个目录多个文件或目录匹配内容,则需要这个参数 -B 输出满足条件行几行,比如 grep -B 3 "aa" file 表示在 file 输出有 aa 行,同时还要输出 aa 3...grep -v 这个实例,选项-v 打印所有不含模式 2或3或5 行。 选项-v 可用来删除输入文件特定条目。...如果真要删除这些条目,就要把 grep 输出重定向到一个临时文件,然后把临时文件名字改成原文件名字。 注意不能从原文件重定向到原文件,这样会破坏原文件

1.3K20

07-2 引用

1.双引号 若把文本放在双引号,那么 shell 使用所有特殊字符美元符号 “ $ ” 、反斜杠 " \ "、反引号 “ ` ”)都将失去它们特殊含义,而被看成普通字符。...(3)参数、算术扩展和命令替换仍有效 ① 切记: 所有特殊字符美元符号 “ $ ” 、反斜杠 " \ "、反引号 “ ` ” 以外都将失去它们特殊含义,而被看成普通字符。...① 单词分割 默认情况下,单词分割会先查找是否存在空格、制表符以及换行字符,然后把它们当作单词界定符。...3.转义字符 有时,只是想要引用单个字符。 这种情况可以通过在该字符加上反斜杠来实现。这里反斜杠称为转义字符。 转义字符经常在双引号中用来有选择性地阻止扩展。...转义字符也常用来消除文件个字符特殊含义。 比如,文件可以使用在 shell 通常具有特殊含义字符。这些字符包括 “ $ ”、“ ! ”、" & "、空格等。

67730

linux文本处理工具及正则表达式

[root@bogon ~]# cat -n /etc/issue > test.txt    ##查看文件内容并显示行号,重定向到test.txt文件 [root@bogon ~]# cat test.txt...SET1 [SET2]                    -c 或——complerment :取字符补集                    -d 或——delete :删除所有属于第一字符字符...;                    -s 或—squeeze-repeats :把连续重复字符单独个字符表示                    -t 或--truncate-set1 :...先删除第一字符集较第二字符集多出字符 [root@bogon ~]# tr -s '\n' < file1.txt     ##删除空行 103.41.52.94 106.185.47.161 \S...$   空白行 \< 或 或 \b   词首锚定,用于单词模式左侧 \> 或 或 \b   词尾锚定;用于单词模式右侧 \   匹配整个单词 \(\)    将一个或多个字符捆绑在一起

55030

Grep(Regex)正则表达式

例如,要查找仅包含“ linux”行,请运行: $grep '^linux$' file.txt 另一个有用示例是匹配所有空行^ $模式。 匹配单个字符 ....例如,找到包含“ accept”或“ accent”行,可以使用以下表达式: $grep 'acce[np]t' file.txt 如果方括号内第一个字符是插入符号^,则它匹配方括号未包含任何单个字符...以下内容匹配3到9位之间所有整数: $grep -E '[[:digit:]]{3,9}' file.txt 交替Alternation 交替是一个简单“或”。...在下面的例子,我们搜索Nginx日志错误文件中出现所有单词fatal, error和critical: $grep 'fatal\|error\|critical' /var/log/nginx/error.log...\s 匹配一个空格。 以下模式将匹配单独单词“ abject”和“ object”。

2.6K40

学校早这么教正则表达式,少走多少弯路!那个分组用法震到我了

例如,查找包含“accept”或“accent”行,可以使用以下表达式: grep 'acce[np]t' file.txt 如果方括号内第一个字符是脱字符^,则它匹配方括号未括起任何单个字符。...以下模式将匹配以“co”开头、后跟“l”和“la”之外任何字母任意字符串组合,如“coca”、“cobalt”等,但不匹配包含“cola”行: grep 'co[^l]a' file.txt 你可以在方括号内指定一个字符范围...以下内容匹配3到9位之间所有整数: grep -E '[[:digit:]]{3,9}' file.txt 交替 术语交替是一个简单“或”。...在下面的示例,我们将在Nginx日志错误文件搜索单词fatal、error和critical所有匹配项: grep 'fatal\|error\|critical' /var/log/nginx/...\< 匹配单词开头字符串。 \> 匹配单词末尾字符串。 \w 匹配一个单词。 \s 匹配空格。 下面的模式将匹配单独单词“abject”和“object”。

2.4K30

学会这21条,你离 Vim 大神就不远了!

连续替换字母 cc 替换整行(就是删除当前行,并在下一行插入) cw 替换一个单词(就是删除一个单词,就进入插入模式),前提是游标处于单词第一个字母(可用b定位) C (大写C)替换至行尾...删除命令 需要说明是,vim 其实并没有单纯删除命令,下面你理解为剪切更加准确。 以字符为单位删除 x 删除当前字符 3x 删除当前字符3次 X 删除当前字符个字符。...3X 删除当前光标向前三个字符 dl 删除当前字符, dl=x dh 删除个字符,X=dh D 删除当前字符至行尾。...移动命令 以字符为单位移动 h 左移一个字符 l 右移一个字符 k 上移一个字符 j 下移一个字符 # 【定位字符】f和F fx 找到光标后第一个为x字符 3fd 找到光标后第三个为...以行为单位移动 # 10指代所有数字,可任意指定 10h 左移10个字符 10l 右移10个字符 10k 上移10行 10j 下移10行 $ 移动到行尾 3$ 移动到下面3行尾

1K30

学会这21条,你离Vim大神就不远了

连续替换字母 cc 替换整行(就是删除当前行,并在下一行插入) cw 替换一个单词(就是删除一个单词,就进入插入模式),前提是游标处于单词第一个字母(可用b定位) C (大写C)替换至行尾...删除命令 需要说明是,vim 其实并没有单纯删除命令,下面你理解为剪切更加准确。 以字符为单位删除 x 删除当前字符 3x 删除当前字符3次 X 删除当前字符个字符。...3X 删除当前光标向前三个字符 dl 删除当前字符, dl=x dh 删除个字符,X=dh D 删除当前字符至行尾。...移动命令 以字符为单位移动 h 左移一个字符 l 右移一个字符 k 上移一个字符 j 下移一个字符 # 【定位字符】f和F fx 找到光标后第一个为x字符 3fd 找到光标后第三个为...以行为单位移动 # 10指代所有数字,可任意指定 10h 左移10个字符 10l 右移10个字符 10k 上移10行 10j 下移10行 $ 移动到行尾 3$ 移动到下面3行尾 以单词为单位移动

1.7K30

文件文件异常

在变量pi_string存储字符,包含原来位于每行左边空格,为删除这些空格,可使用strip()而不是rstrip()。 ? 输出: ?...获得一个这样字符串:它包含精确到30位小数圆周率值。这个字符串长32字符,因为它还包含整数部分3和小数点。 读取文本文件时,Python将其中所有文本都解读为字符串。...让每个字符串都单独占一行,需要在write()语句中包含换行符: ? 输出: ? 像显示到终端输出一样,还可以使用空格、制表符和空行来设置这些输出格式。...6.分析文本 方法split(),根据一个字符串创建一个单词列表。 ? 方法split()以空格为分隔符将字符串分拆成多个部分,并将这些部分都存储到一个列表。...结果是一个包含字符串中所有单词列表,虽然有些单词可能包含标点。 ? 输出: ? 7.使用多个文件 ? 输出: ?

5.2K20

《鸟哥linux私房菜》基本命令笔记

,但可以使用last读出 目录 d 连接文件 l  硬连接与软连接 设备文件 块设备 b 如硬盘 字符设备 c 如串行接口键盘和鼠标 套接字 s 管道 p 系统 所有的设备要么是字符特殊文件,要么是块特殊文件...对单个任意字符进行匹配(换行符) [str] 对str任意单个字符进行匹配 [^str] 对任意不在str个字符进行匹配 [a-b] 对a到b之间任何字符进行匹配 \ 抑止后面的一个字符特殊含义...含义,使它与每一个字符匹配(而不是与 \n 之外个字符匹配)。 多行模式 更改 ^ 和 $ 含义,使它们分别在任意一行行首和行尾匹配,而不仅仅在整个字符开头和结尾匹配。...表示逻辑上非;而正则表达式中使用 ^ 表示。 (2) $ 表示变量引用;表示行尾。 (3)* 表示任意0或多个字符;表示重复0个或多个字符。 (4)?表示一定有一个字符;表示重复0次或1次。...一行 (6)[ ] 行为一致 正则表达式在vi 使用: 在当前行删除从aa到zz所有字符。 :s/aa.*zz// 在整个文件用and代替所有的&字符

2.3K60

Python 密码破解指南:10~14

-- 我们isEnglish()函数将一个解密字符串分割成单独字符串,并检查每个子字符串是否作为一个单词存在于字典文件。...结果是一个包含八个字符列表,原始字符每个单词对应一个字符串。即使列表中有多个空格,也会从列表项删除空格。...然后,我们在这个长字符串上调用split()方法,并在换行符上拆分。因为字典文件每行有一个单词,所以按换行符拆分会返回一个由字典文件每个单词组成列表值。...,我们编写了removeNonLetters()函数来查找字符所有字母和空格字符,所以我们可以重用它。...' Hello World '.strip() 'Hello World' 在本例,strip()删除个字符串开头或结尾空格字符

79450

PHP基本规则

这个功能只对特殊安装脚本开放。 A.1.2  缩进 使用4个空格缩进,而不使用制表符TAB。 A.1.3  行最大长度 一行在80个字符以内比较合适,长些也可以,但最多为120个字符。...双引号,变量(var)值会代入字符,特殊转义字符也会被解析成特定个字符,还有一些专门针对上述两项特性特殊转义,如"\ 数组,如果下标不是整型,而是字符串类型,必须使用单引号将下标括起,正确写法为...说明或显示部分,内容如中文、数字、英文单词混杂,应当在数字或者英文单词前后加入空格。 符合上述编码规范示例代码如下: $result = (($a + 1) * 3 / 2 + $num)).'...变量或程序名长度必须在255个字符以内。 和保留字相同名称不能使用。 A.2.6  常量 常量包含数字、字母和下划线,数字允许作为常量名。 常量名所有字母必须大写。...在圆括号条件语句,操作符必须用空格分开,鼓励使用多重圆括号以便在复杂条件划分逻辑组合。 花括号必须和条件语句在同一行,后花括号单独在最后一行,其中内容用4个空格缩进。 if ($a !

5.1K50
领券