作为linux中最为常用的三大文本（awk，sed，grep）处理工具之一，掌握好其用法是很有必要的。
“too many open files”这个错误大家经常会遇到，因为这个是Linux系统中常见的错误，也是云服务器中经常会出现的，而网上的大部分文章都是简单修改一下打开文件数的限制，根本就没有彻底的解决问题。
NR:NR表示从awk开始执行后，按照记录分隔符读取的数据次数，默认的记录分隔符为换行符，因此默认的就是读取的数据行数，NR可以理解为Number of Record的缩写。
awk、grep和sed被称为linux三剑客，事实上grep和awk我在日常工作中也常用到(sed用的比较少)，可能有些人对awk了解比较少，我先大概介绍下。 很多人以为awk只是一个文本处理工具，实际上他们也是这么用的。但事实上它其实是一门语言，拥有数学运算符、进程控制语句，甚至针对于文本处理封装了很多内置变量和函数，这造就了它强大的文本处理能力。 如果grep只能做到数据的筛选，那awk还能做到数据的处理、分析甚至生成报表，毕竟它是一门完整的编程语言。
grep （缩写来自Globally search a Regular Expression and Print）是一种强大的文本搜索工具，它能使用特定模式匹配（包括正则表达式）搜索文本，并默认输出匹配行,grep和sed的区别在于，grep是以行为单位，进行字符串的对比，sed则可以进行删除、替换等更多的功能
awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，默认以空格为分隔符将每行切片，切开的部分再进行各种分析处理。awk是行处理器,相比较屏幕处理的优点，在处理庞大文件时不会出现内存溢出或是处理缓慢的问题，通常用来格式化文本信息
在进行系统维护时，经常会出现内存使用量惊人，而又不知道是哪一个进程占用了大量进程的情况。除了可以使用top命令查看内存使用情况之外，还可以使用下面的命令：
1.rename命令批量修改文件名, 其实linux下可以使用别的办法来批量修改文件名, 不过rename实在太方便了 比如把所有的表为cdb1_* 修改为cdb_*的 在本目录下 只需要# rename 'cdb1' 'cdb' * 以前都是写个for循环来做...想想多傻啊, 呵呵 rename还有更多的功能, 建议man rename下 From:http://www.hao32.com/unix-linux/42.html 2.批量更改文件名 rename 通过 man rename 命令可以得知,
这条命令的作用是将标准输出1重定向到/dev/null中。 /dev/null代表linux的空设备文件，所有往这个文件里面写入的内容都会丢失，俗称“黑洞”。那么执行了>/dev/null之后，标准输出就会不再存在，没有任何地方能够找到输出的内容。
说明：Linux pstree命令将所有行程以树状图显示，树状图将会以 pid (如果有指定) 如果有指定使用者 id，则树状图会只显示该使用者所拥有的行程。
awk是一种编程语言，用于在linux/unix下对文本和数据进行处理。数据可以来自标准输入、一个或多个文件，或其它命令的输出。它支持用户自定义 函数和动态正则表达式等先进功能，是linux/unix下的一个强大编程工具。它在命令行中使用，但更多是作为脚本来使用。awk的处理文本和数据的方 式是这样的，它逐行扫描文件，从第一行到最后一行，寻找匹配的特定模式的行，并在这些行上进行你想要的操作。如果没有指定处理动作，则把匹配的行显示到标 准输出(屏幕)，如果没有指定模式，则所有被操作所指定的行都被处理。awk分别代表其作者姓氏的第一个字母。因为它的作者是三个人，分别是Alfred Aho、Brian Kernighan、Peter Weinberger。gawk是awk的GNU版本，它提供了Bell实验室和GNU的一些扩展。
sed -i "s/原字符串/新字符串/g" `grep 原字符串 -rl 所在目录`(千万注意这个符号，是最左上角那个符号不是单引号)
awk [ -F | -f | -v ] 'BEGIN{}//{commend1;commend2} END{}' file
参数 -c 只输出匹配行的个数。 -i 不区分大小写（只适用于单字符）。 -h 查询多文件时不显示文件名。 -l 查询多文件时只输出包含匹配字符的文件名。 -n 显示匹配行及行号。 -s 不显示不存在或无匹配文本的错误信息。 -v 显示不包含匹配文本的所有行（反向匹配）。 -V 显示软件版本信息
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/haluoluo211/article/details/77714264
Linux学习系列文章是生信宝典最开始主推的一块，力图从一个新额视角帮助初学者快速入门Linux系统，熟悉Linux下的文件和目录，文件操作， 文件内容操作。而且教程摒弃了完美操作，列举出常见错误和解决方式，管道、标准输入输出解惑Linux下多种信息输出方式。 在文件排序和FASTA文件操作中简述了awk和sed的使用，作为一个引子。本篇则详细列举关于awk常用的操作和一些偏门的操作。 awk基本参数解释 awk擅长于对文件按行操作，每次读取一行，然后进行相应的操作。 awk读取单个文件时的基本语法格式是a
当需要比较A , B两个文件 , A文件中存在 , 并且把也在B文件中存在的行去除掉 , 可以使用这个awk的用法来
grep awk sed是Linux下文本处理常用的命令，能完成很多神奇的操作，今天就分享一下这三个命令最常见的用法
管道负责单向连接前一个程序的标准输出与后一个程序的标准输入，其本质是一个共享文件。我们日常最常用到的管道是匿名管道，Shell中的管道符号为“|”。
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/q383965374/article/details/50394765
学习Linux系统的朋友们肯定都会接触到正则表达式，或者开发人员也会遇到这个东东，说起正则表达式，使我想起“会者不难，难者不会”这句话，的确如此，相信很多人刚接触正则表达式，肯定一头雾水，觉得很难学会，是的，民工哥也是这么个感觉，但是相信大家都认真去学习、去练习，肯定能学会的。
是这样的，我前两天遇到一个问题，需要排查一下，有个排查需要使用到的命令我死活想不起来。
awk 是一个文本处理工具，通常用于处理数据并生成结果报告，awk的命名是它的创始人 Alfred Aho、 Peter Weinberger 和 Brian Kernighan 姓氏的首个字母组成的。
awk不仅仅是linux系统中的一个命令，而且是一种编程语言；它可以用来处理数据和生成报告（excel）；处理的数据可以是一个或多个文件；可以是直接来自标准输入，也可以通过管道获取标准输入；awk可以在命令行上直接编辑命令进行操作，也可以编写成awk程序来进行更为复杂的运用。
ps --no-headers -o "rss,cmd" -C php-fpm | awk '{ sum+=$1 } END { printf ("%d%s\n", sum/NR/1024,"M") }'
接上文。 最近xjjdog的状态很差。也许是春天到了，也许是万物相互有感应的结果，小王的状态也很差。是我影响了他，让他在这个虚拟的世界里不断的yy又不断的沉沦。在此，xjjdog向这个虚拟的小王说一声：对不起，是我没有赋予你一马平川的能力，让你演了5集像韩剧一样又臭又长的电视剧。
更多请参考：Linux sed 命令在新窗口打开 或者 Linux sed命令详解在新窗口打开
1.先配置好jenkins需要用到的其他外部组件 jdk,maven,git/svn
wgethttp://pkg.jenkins-ci.org/redhat/jenkins-2.39-1.1.noarch.rpm sudo rpm --importhttp://pkg.jenkins-ci.org/redhat/jenkins.io.key sudo yum -y install jenkins-2.39-1.1.noarch.rpm安装完后防火墙放行端口
Linux下最常用的打包程序是tar命令，使用tar打出来的包我们常称为tar包，tar包文件的命令通常都是以.tar结尾的，生成tar包后，就可以用其它的程序来进行压缩了。
表示从awk开始执行后，按照记录分隔符读取的数据次数，默认的记录分隔符为换行符，因此默认的就是读取的数据行数。
NR,NR表示从awk开始执行后，按照记录分隔符读取的数据次数，默认的记录分隔符为换行符，因此默认的就是读取的数据行数，NR可以理解为Number of Record的缩写。
psRobot：植物小RNA分析系统 简介 官网：http://omicslab.genetics.ac.cn/psRobot/ PsRobot是中科院遗传发育所王秀杰组的作品，主要实现小RNA的ma
-a：标示已修改的变量，以供输出至环境变量。 -b：使被中止的后台程序立刻回报执行状态。 -C：转向所产生的文件无法覆盖已存在的文件。 -d：Shell预设会用杂凑表记忆使用过的指令，以加速指令的执行。使用-d参数可取消。 -e：若指令传回值不等于0，则立即退出shell。 -f：取消使用通配符。 -h：自动记录函数的所在位置。 -H Shell：可利用"!"加<指令编号>的方式来执行history中记录的指令。 -k：指令所给的参数都会被视为此指令的环境变量。 -l：记录for循环的变量名称。 -m：使用监视模式。 -n：只读取指令，而不实际执行。 -p：启动优先顺序模式。 -P：启动-P参数后，执行指令时，会以实际的文件或目录来取代符号连接。 -t：执行完随后的指令，即退出shell。 -u：当执行时使用到未定义过的变量，则显示错误信息。 -v：显示shell所读取的输入值。 -x：执行指令后，会先显示该指令及所下的参数。
平时的工作中经常碰到很多疑难问题的处理，在解决问题的同时，有一些工具起到了相当大的作用，在此书写下来，一是作为笔记，可以让自己后续忘记了可快速翻阅，二是分享，希望看到此文的同学们可以拿出自己日常觉得帮助很大的工具，大家一起进步。
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
这是一篇来源于阿里内部技术论坛的文章，原文在阿里内部获得一致好评。作者已经把这篇文章开放到云栖社区中供外网访问。文章内容做了部分删减，主要删减掉了其中只有阿里内部才能使用的工具的介绍，并删减掉部分只有通过阿里内网才能访问到的链接。
平时的工作中经常碰到很多疑难问题的处理，在解决问题的同时，有一些工具起到了相当大的作用，在此书写下来，一是作为笔记，可以让自己后续忘记了可快速翻阅，二是分享，希望看到此文的同学们可以拿出自己日常觉得帮助很大的工具，大家一起进步。 闲话不多说，开搞。
如果你是初学者，或者是自学者！你可以加小编微信（xxf960326）！小编可以给你学习上，工作上的一些建议以及可以给你(免费)提供学习资料！最重要我们还可以交个朋友！你在学习上有什么问题都可以加小编微信进行私聊！小编都会为你解答！
/home 普通用户的宿主目录，用户数据存放在其主目录中lib 存放必要 的运行库
awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。
在Linux/UNIX系统中，awk是一个功能强大的编辑工具，逐行读取输入文本，并根据指定的匹配模式进行查找，对符合条件的内容进行格式化输出或者过滤处理，可以在无交互的情况下实现相当复杂的文本操作，被广泛应用于Shell脚本，完成各种自动化配置任务。
1、如何过滤出已知当前目录下yangwen中的所有一级目录(提示:不包含yangwen目录下面目录的子目录及隐藏目录，即只能是一级目录)? 解答： 方法1：通过find直接查找指定类型的文件 [ro
文件目录常用操作 1、查找文件 （1）find命令 格式：find 目录名 条件 常见条件： -name指定要被寻找的文件或者目录的名称（可用通配符） -type x以文件类型作为寻找条件（x代指文件类型） 例：find /temp –name “abc*” –type f （2）diff命令----常用于文件大致相同的情况下 格式：diff –y 文件名1 文件名2 （3）grep命令----查找文本文件的内容，并把匹配的文本打印出来 a.用处：查看日志，查看命令输出（支持正则表达式搜索
linux 有大量的配置文件，所以 linux 的文本处理工具也是比较多的，常用的有 less vi head tail cat grep sed awk …. 。其中编辑一些配置文件，及查看日志时，常用的工具就是 vim 和 less ，而且它两的快捷键又很相似，所以学会 vim 的使用还是挺必要的。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
