精心整理了生物信息学中常用的 Linux 命令，很不容易。所有命令的用法都经本人亲自测试。掌握这些命令，是每一个生信人基本的自我修养。
作者精心整理了生物信息学中常用的 Linux 命令，很不容易。所有命令的用法都经本人亲自测试。掌握这些命令，是每一个生信人基本的自我修养。
文件管理不外乎文件或目录的创建、删除、查询、移动，有mkdir/rm/mv 文件查询是重点，用find来进行查询；find的参数丰富，也非常强大； 有时候，需要给文件创建一个别名，我们需要用到ln，使用这个别名和使用原文件是相同的效果； 2.1. 创建和删除 创建：mkdir 删除：rm 删除非空目录：rm -rf file目录 删除日志 rm *log (等价: $find ./ -name “*log” -exec rm {} ;) 移动：mv 复制：cp (复制目录：cp -r ) 查看当前目录下文件个数: $find ./ | wc -l 复制目录: $cp -r source_dir dest_dir 2.2. 目录切换 找到文件/目录位置：cd 切换到上一个工作目录： cd - 切换到home目录： cd or cd ~ 显示当前路径: pwd 更改当前工作路径为path: $cd path 2.3. 列出目录项 显示当前目录下的文件 ls 按时间排序，以列表的方式显示目录项 ls -lrt 以上这个命令用到的频率如此之高，以至于我们需要为它建立一个快捷命令方式: 在.bashrc 中设置命令别名: alias lsl='ls -lrt' alias lm='ls -al|more' 这样，使用lsl，就可以显示目录中的文件按照修改时间排序；以列表方式显示； 给每项文件前面增加一个id编号(看上去更加整洁): >ls | cat -n 1 a 2 a.out 3 app 4 b 5 bin 6 config 注：.bashrc 在/home/你的用户名/ 文件夹下，以隐藏文件的方式存储；可使用 ls -a 查看； 2.4. 查找目录及文件 find/locate 搜寻文件或目录: $find ./ -name "core*" | xargs file 查找目标文件夹中是否有obj文件: $find ./ -name '*.o' 递归当前目录及子目录删除所有.o文件: $find ./ -name "*.o" -exec rm {} \; find是实时查找，如果需要更快的查询，可试试locate；locate会为文件系统建立索引数据库，如果有文件更新，需要定期执行更新命令来更新索引库: $locate string 寻找包含有string的路径: $updatedb 与find不同，locate并不是实时查找。你需要更新数据库，以获得最新的文件索引信息。 2.5. 查看文件内容 查看文件：cat vi head tail more 显示时同时显示行号: $cat -n 按页显示列表内容: $ls -al | more 只看前10行: $head - 10 ** 显示文件第一行: $head -1 filename 显示文件倒数第五行: $tail -5 filename 查看两个文件间的差别: $diff file1 file2 动态显示文本最新信息: $tail -f crawler.log 2.6. 查找文件内容 使用egrep查询文件内容: egrep '03.1\/CO\/AE' TSF_STAT_111130.log.012 egrep 'A_LMCA777:C' TSF_STAT_111130.log.035 > co.out2 2.7. 文件与目录权限修改 改变文件的拥有者 chown 改变文件读、写、执行等属性 chmod 递归子目录修改： chown -R tuxapp source/ 增加脚本可执行权限： chmod a+x myscript 2.8. 给文件增加别名 创建符号链接/硬链接: ln cc ccAgain :硬连接；删除一个，将仍能找到； ln -s cc ccTo :符号链接(软链接)；删除源，另一个无法使用；（后面一个ccTo 为新建的文件） 2.9. 管道和重定向 批处理命令连接执行，使用 | 串联: 使用分号 ; 前面成功，则执行后面一条，否则，不执行:&& 前面失败，则后一条执行: || ls /proc && echo suss! || echo failed. 能够提示命名是否执行成功or失败； 与上述相同效果的是: if ls /proc; then echo suss; else echo fail; fi 重定向: ls proc/*.c > list 2> &l 将标准输出和标准错误重定向
来自：IBM developerWorks 链接：https://www.ibm.com/developerworks/cn/aix/library/au-unixtips/ “ 上一篇文章中我们列出了使用 Unix/Linux 系统时的10条建议，相信即便是很熟悉这些概念的老手，一旦重新审视自己平时的某些使用习惯时也会有新的收获。在上一篇的基础上，这里是另外 10 个 UNIX 命令行命令、工具和技术，让你成为更高效的 UNIX 命令行高手。 10个好习惯 使用文件名自动补全功能 (file name c
AWK 是一个通用脚本语言，主要设计用来对文本进行高级处理。它最常用于报告和分析工具。
汇总 Linux 系统上使用的命令只需一串相对简单的命令以及几条管道将它们绑定在一起。当你的历史记录缓冲区保留了最近的 1,000 或 2,000 条命令时，总结你的命令活动可能会变得很乏味。这篇文章提供了一种方便的方法来汇总命令的使用情况，并高亮显示最常用的命令。
你可以使用逻辑运算符“and”（写作“&&”）和“or”（写作“||”）为条件添加特异性。
上一篇文章中我们列出了使用 Unix/Linux 系统时的10条建议，相信即便是很熟悉这些概念的老手，一旦重新审视自己平时的某些使用习惯时也会有新的收获。在上一篇的基础上，这里是另外 10 个 UNIX 命令行命令、工具和技术，让你成为更高效的 UNIX 命令行高手。
用于文本搜索，匹配文件内容，语法格式为：grep pattern filename，例如：
这条命令的作用是将标准输出1重定向到/dev/null中。 /dev/null代表linux的空设备文件，所有往这个文件里面写入的内容都会丢失，俗称“黑洞”。那么执行了>/dev/null之后，标准输出就会不再存在，没有任何地方能够找到输出的内容。
脚本说明 createtb.sh：创建hive表，触发监控目录脚本 monitor.sh：监控目录，根据文件变化自动触发导入hive表 loadtb_all.sh：第一次将文件导入hive表（第一次建表时触发） loadtb_mid.sh：第N此件文件导入hive表（监控文件添加时触发） 脚本上传 ## 给 /home/hive/ 目录下的所有脚本赋予执行权限 chmod +x /home/hive/*.sh ## 如果脚本在windowns环境下编辑，需要将脚本转化为unix格式
脚本中一旦遇到exit命令，脚本会立即终止，终止退出状态取决于exit命令后面的数字
知道上了研究生到了实验室，我发现实验室的怎么都是对着一个窗口操作，瞬间觉得以前的计算机知识白学了，于是开启了Linux之路。
'使用sed 去除以空格开头的行，第一个sort进行整理输出，uniq -c进行统计,sort -rn进行从大到小排列 # cat cat.ip | awk -F "|" '{print $1}' | sed "s/ //g" | sort | uniq -c | sort -rn 3 192.168.2.2 3 192.168.2.12 2 192.168.2.14 2 192.168.2.13 1 192.168.2.16 1 19
1、进程是什么？进程是应用的执行副本。应用的可执行文件是放在文件系统里，把可执行文件启动，就会在操作系统里（具体来说是内存中）形成一个应用的副本，这个副本就是进程。
还有一个要注意的是 awk -F ","' { print $2}' test. txt,用-F 可以指定切割的分割符号
Awk pattern scanning and processing language，对文本和数据进行处理。
AWK是一种处理文本文件的语言，是一个强大的文本分析工具。之所以叫AWK是因为其取了三位创始人 Alfred Aho，Peter Weinberger, 和 Brian Kernighan 的Family Name的首字符
split命令：可以将一个大文件分割成很多个小文件，有时需要将文件分割成更小的片段，比如为提高可读性，生成日志等。
这个命令组合实际上并不是很有效，因为 xargs 和 sed 两者的组合有些冗余。如果目标是将多行内容转换为单行并使用特定分隔符，那么使用 paste 或其他方法可能更为简洁。
本文大部分内容翻译自我开始学习AWK时看到的一篇英文文章 AWK Tutorial ，觉得对AWK入门非常有帮助，所以对其进行了粗略的翻译，并对其中部分内容进行了删减或者补充，希望能为对AWK感兴趣的小伙伴提供一份快速入门的教程，帮助小伙伴们快速掌握AWK的基本使用方式，当然，我也是刚开始学习AWK，本文在翻译或者补充的过程中肯定会有很多疏漏或者错误，希望大家能够帮忙指正。 本文将会持续修正和更新，最新内容请参考我的 GITHUB 上的 程序猿成长计划 项目，欢迎 Star。 概述 AWK是一门解释
本文大部分内容翻译自我开始学习AWK时看到的一篇英文文章 AWK Tutorial ，觉得对AWK入门非常有帮助，所以对其进行了粗略的翻译，并对其中部分内容进行了删减或者补充，希望能为对AWK感兴趣的小伙伴提供一份快速入门的教程，帮助小伙伴们快速掌握AWK的基本使用方式，当然，我也是刚开始学习AWK，本文在翻译或者补充的过程中肯定会有很多疏漏或者错误，希望大家能够帮忙指正。
'!'Linux 中的符号或运算符可用作逻辑否定运算符，也可通过调整从历史记录中获取命令，或通过修改运行先前运行的命令。以下所有命令均已在 bash Shell 中明确检查。虽然我没有检查过，但其中大部分不会在其他 shell 中运行。 按命令编号运行历史记录中的命令。 您可能不知道您可以从历史命令（已经 / 较早执行的命令）运行命令这一事实。要开始，首先通过运行 “history” 命令找到命令编号。 $ history 现在，在history的输出中，仅按照它出现的编号运行来自history的命令。假
Be kind; everyone you meet is fighting a hard battle.
Linux内核提供了一种通过/proc文件系统，在运行时访问内核内部数据结构、改变内核设置的机制。proc文件系统是一个伪文件系统，它只存在内存当中，而不占用外存空间。它以文件系统的方式为访问系统内核数据的操作提供接口。 用户和应用程序可以通过proc得到系统的信息，并可以改变内核的某些参数。由于系统的信息，如进程，是动态改变的，所以用户或应用程序读取proc文件时，proc文件系统是动态从系统内核读出所需信息并提交的。下面列出的这些文件或子文件夹，并不是都是在你的系统中存在，这取决于你的内核配置和装载的模块。另外，在/proc下还有三个很重要的目录：net，scsi和sys。 Sys目录是可写的，可以通过它来访问或修改内核的参数，而net和scsi则依赖于内核配置。例如，如果系统不支持scsi，scsi目录不存在。 除了以上介绍的这些，还有的是一些以数字命名的目录，它们是进程目录。系统中当前运行的每一个进程都有对应的一个目录在/proc下，以进程的 PID号为目录名，它们是读取进程信息的接口。而self目录则是读取进程本身的信息接口，是一个link。
程序：保存在硬盘、光盘等介质中的可执行代码和数据，静态保存的代码 进程：在cpu及内存中运行的程序代码，动态执行的代码，每个进程可以有多个子进程(线程) PID ： 标识进程的唯一标识 ps：静态查看系统进程 top：动态查看系统进程 pgrep：表示查看指定服务的PID 如： pgrep httpd 查看httpd服务的PID -u 表示查看指定用户的进程信息 比如：pgrep -u named httpd 第一个参数named为named用户，第二个参数表示进程名称为 httpd ，表示查看named用户的httpd进程的PID。与 ps -aux | grep httpd 同样的作用 pstree：以树状结构显示进程的关联信息 进程后台管理 Ctrl+z 前台进程调入后台，挂起，进程并没有死，只是卡在那里 Ctrl+c 结束进程 jobs 查看后台进程 fg 3 将后台第3个进程在前台运行（不加数字时，jobs程序上为‘+’的程序优先被调回） bg 2 将后台第2个进程在后台运行（不加数字时，jobs程序上为‘+’的程序优先被调回） & 直接将进程放在后台运行 kill 向进程发送信号，不加参数时，默认发送 kill 信号 。强制杀掉进程：kill -s 9 PID 这里是 -s 9 参数的作用的传递给进程的信号是9，即强制终止，结束进程 killall 杀死同一命令的所有进程 top : 反应系统进程动态信息，默认每3秒更新一次，顶部始终显示系统当前最活跃的进程，此时还可以接受用户的键盘输入向进程发送信号等待
如果用bash -c 那么bash 会从第一个非选项参数后面的字符串中读取命令，如果字符串有多个空格，第一个空格前面的字符串是要执行的命令，也就是$0, 后面的是参数，即$1,$2….
本文将介绍Linux下使用Shell处理文本时最常用的工具：find、grep、xargs、sort、uniq、tr、cut、paste、wc、sed、awk；
本系列文章一共三篇，分别为《脚本编程与 Linux 命令》、《接入层与网络基础》和《 MySQL 与 SQL 优化》，由腾讯高级工程师 luaruan(阮永顺) 原创、张戈博客整理分享，如有勘误请在博客留言。
本文将介绍Linux下使用Shell处理文本时最常用的工具：find、grep、xargs、sort、uniq、tr、cut、paste、wc、sed、awk；提供的例子和参数都是最常用和最为实用的；对shell脚本使用的原则是命令单行书写，尽量不要超过2行；如果有更为复杂的任务需求，还是考虑python吧.
本文将介绍Linux下使用Shell处理文本时最常用的工具：find、grep、xargs、sort、uniq、tr、cut、paste、wc、sed、awk； 提供的例子和参数都是最常用和最为实用的； 我对shell脚本使用的原则是命令单行书写，尽量不要超过2行； 如果有更为复杂的任务需求，还是考虑python吧； find 文件查找 查找txt和pdf文件 find . \( -name "*.txt" -o -name "*.pdf" \) -print 正则方式查找.txt和pdf find . -
7、检测本机当前用户是否为超级管理员,如果是管理员,则使用 yum 安装 vsftpd,如果不是,则提示您非管理员(使用字串对比版本)
Linux Shell是一种基本功，由于怪异的语法加之较差的可读性，通常被Python等脚本代替。既然是基本功，那就需要掌握，毕竟学习Shell脚本的过程中，还是能了解到很多Linux系统的内容。
find、grep、xargs、sort、uniq、tr、cut、paste、wc、sed、awk；
<转>分享下看到比较好的关于常用的shell脚本，供大家学习： 1、脚本之间互相调用与传递参数 "1.sh"的脚本，接受参数。如下，如果有一个参数则赋值个sourceFile这个变量，否则用默认值。 Shell代码 1. 2. #!/bin/bash 3..UTF-8 4. #get parameters 5. sourceFile="/data/log/abc" #$sourcefile时，bash会去着该路径，如果找不到该路径的话，sourcefile为nul
本节将介绍Linux下使用Shell处理文本时最常用的工具： find、grep、xargs、sort、uniq、tr、cut、paste、wc、sed、awk； 提供的例子和参数都是常用的； 我对shell脚本使用的原则是命令单行书写，尽量不要超过2行； 如果有更为复杂的任务需求，还是考虑python吧；
说明：[A][N][P][G]表示第一个支持变量的工具，[A]=awk、[N]=nawk、[P]=POSIXawk、[G]=gawk
需求说明: 线上某些业务系统的日志不定期产生, 有的每天产生, 有的好几天才产生, 因为系统只有在用的时候才产生日志,日志文件均存放在以当天日期命名的目录下. 当日志目录越来越多时就需要处理, 由此开发同事提出来一个需求, 需要一个自定义删除或保留这些日志目录的脚本, 如下:
管道负责单向连接前一个程序的标准输出与后一个程序的标准输入，其本质是一个共享文件。我们日常最常用到的管道是匿名管道，Shell中的管道符号为“|”。
因为AT&T(通用电气)的政策改变，在Version 7 Unix推出之后，发布新的使用条款，将UNIX源代码私有化，在大学中不再能使用UNIX源代码。Andrew S. Tanenbaum(塔能鲍姆)教授为了能在课堂上教授学生操作系统运作的实务细节，决定在不使用任何AT&T的源代码前提下，自行开发与UNIX兼容的操作系统，以避免版权上的争议。他以小型UNIX（mini-UNIX）之意，将它称为MINIX。
xargs可以将stdin中以空格或换行符进行分隔的数据，形成以空格分隔的参数（arguments），传递给其他命令。因为以空格作为分隔符，所以有一些文件名或者其他意义的名词内含有空格的时候，xargs可能会误判。简单来说，xargs是给其他命令传递参数的一个过滤器，是构建单行命令的重要组件之一。
本教程将演示一些功夫与Team Cymru的Python whois模块。在infosec中的攻击和防御角色中，你需要做很多whois查看，这个python模块可以节省你的时间。让我们跳进去开始玩这个模块的功能。
SSH登录密码的破解工具已然有许多，但偶尔还是存在不能满足任务需求的情况。比如，批量地对IP列表里的IP地址进行SSH登录破解，现有的工具直接使用起来总觉得不方便。那么，能否利用现有的工具，来定制打造适合自己的装备？当然可以，而且，这是想要偷懒的宝宝们需要掌握的一项技能。
linux 有很多工具可以做文本处理，例如：sort, cut, split, join, paste, comm, uniq, column, rev, tac, tr, nl, pr, head, tail.....，学习 linux 文本处理的懒惰方式（不是最好的方法）可能是：只学习grep，sed和awk。
这是十条linux系统下命令行操作模式时应该遵守的好习惯，他们不仅可以让你的操作更快，也能减少你失误的可能性。它们分别是
👋 你好，我是 Lorin 洛林，一位 Java 后端技术开发者！座右铭：Technology has the power to make the world a better place.
注意：这里的hosts文件前两行是默认值，后边的才是自己配置的host名称，所以读取的时候是从第三行读取
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
