从零开始的异世界生信学习 linux部分 linux 基础---学习笔记-3 Linux三剑客 grep,sed,awk

cat >file
gene
UTR
start_codon
stop_codon
^C(Ctrl C)
less -S Data/example.gtf | grep -w -f 'file' | less -S
##可以将想要查找的关键词存到一个文件中，再按照文件查找

^ 行首    ##cat readme.txt  | grep '^T'   查找以T开头的行
$ 行尾    ##cat readme.txt  | grep ')$'   查找以）结尾的行
. 换行符之外的任意单个字符  ##cat readme.txt  | grep 'f.ee'  查找f ee 中间由任意字符组成的关键词 
? 匹配之前项0次或者一次  ##cat readme.txt  | grep 'f\?ee' "\"表示转义，让系统识别？为正则表达式，而非字符？
  ##也可写成  cat readme.txt  | grep -E 'f?ee'
+ 匹配1次或者多次  ##cat readme.txt  | grep 're\+'
* 匹配0次或者多次  ## cat readme.txt  | grep 're*'  *不需要转义
{n} 匹配n次
{n,} 匹配至少n次
{m,n} 至少m,最多n
[] 匹配任意一个  ##cat readme.txt  | grep [bB] 查找b或者B
[^] 排除字符 ##[^Tt]  ## 查找除了T和t的文字
| 或者  ##cat Data/example.gtf | grep -E 'UTR|exon'  查找UTR或者exon 使用的时候加上 -E 进行正则表达式转义

常见参数：## [-optioons]

-n ：禁止显示所有输入内容，只显示经过sed处理的行(常用)

-e ：直接在命令模式上进行 sed 的动作编辑，接要执行的一个或者多个命令

-f ：执行含有 sed 动作的文件

-r ：sed 的动作支持的扩展正则(默认基础正则)

-i ：直接修改读取的文件内容，不输出。

cat readme.txt | sed '1i Welcome to Biotrainee() '  ## 在文本的第一行前面加Welcome to Biotrainee()
cat readme.txt | sed '1,3i Welcome to Biotrainee() '  ##在文本的第一行到第三行每一行前面都加一句Welcome to Biotrainee()
cat readme.txt | sed '1a Welcome to Biotrainee() ' ## 在文本的第一行后面加Welcome to Biotrainee()
cat readme.txt | sed '1c Welcome to Biotrainee() ' 
cat readme.txt | sed '/^$/d'  ## /^$/ 这在正则表达式中指空行，这个sed命令是删除文本中的空行
cat readme.txt | sed 's/is/IS/g' ## g表示全局替换global，是[flags]的一个参数，默认值为1，表示每行的第一个匹配到的字符串进行替换
cat readme.txt | sed '1 s/ee/EE/g'
cat readme.txt | sed '1~3 s/ee/EE/' ##第一行开始，每隔3行（1,4,7）中的第一个ee替换成EE
cat readme.txt | sed '/www/ s/ee/EE/'  ##现在address位置进行匹配，匹配www的行，将这行的ee改成EE
cat readme.txt | sed  'y/abc/ABC/'  ##将所有小写abc更换成大写ABC
cat readme.txt | sed -n '/ee/p'
cat readme.txt | sed -n 's/ee/EE/p'

常见参数：-F，fields，设置字段分隔符；

-v，var=value 定义awk程序中的一个变量及其默认值

用法：awk [options]  '{script}'  file

基础结构： ' {script} '

匹配结构： ' /pattern/{script} '

扩展结构： 'BEGIN{script} {script} END{script}'

# 基本用法
less -S  Data/example.gtf 
less -S  Data/example.gtf | cut -f 9 | less -S
less -S  Data/example.gtf | awk '{print $9}' | less -S
less -S  Data/example.gtf | awk '{print $9,$10}' | less -S
less -S  Data/example.gtf | awk -F '\t' '{print $9}' | less -S

# 扩展结构
less -S Data/example.gtf | awk '/UTR/{print $0}' | less -S   ##匹配模式
less -S Data/example.gtf | awk 'BEGIN{print "find UTR feature"} /UTR/{print $0} END{print "end"}' ##注意三段式
less -S Data/example.gtf | awk 'BEGIN{FS="\t"} {print $9}' | less -S
less -S Data/example.gtf | awk 'BEGIN{FS="\t"} {print NR,$9}' | less -S

# 条件和循环
less -S  Data/example.gtf | awk '{if($3=="gene") {print $0} }' | less -S
less -S  Data/example.gtf | awk '{if($3=="gene") {print $1,$2,$3} }' | less -S
less -S  Data/example.gtf | awk '{for(i=1;i<4;i++){print $i} }' | less -S
less -S  Data/example.gtf | awk '{for(i=1;i<4;i++){print $i} }' | paste - - - | less -S

# 运算和字符处理
less -S  Data/example.gtf | awk '/exon/{print $5-$4}' | less -S
less -S  Data/example.gtf | awk '{print $5/$4}' | less -S
less -S  Data/example.gtf | awk '{print int($5/$4) }' | less -S
less -S  Data/example.gtf | awk '{print int($5/$4 + 0.5) }' | less -S
less -S Data/example.gtf | awk 'BEGIN{FS="\t";OFS="\t"} {gsub("gene","Gene