Shell脚本之常用Linux命令使用介绍

somecommand |xargs -item  command

-0 ：#将\0作为定界符。
-a ：#指定一个xargs脚本文件
-n <数字>: #指定每行显示多少列; 
-d '定界字符': #指定一个定界符注意必须是单字符;
-I : #指定一个替换字符串{},这个字符串再xargs扩展时会被替换掉,当-I与xargx联合使用的时候每一个参数命令都会被执行一次，类似于find的-ok/-exec选项
-i,-I  # 这得看linux支持了，将xargs的每项名称，一般是一行一行赋值给 {}，可以用 {} 代替。
-L num # 从标准输入一次读取 num 行送给 command 命令。
-n, --max-args=MAX-ARGS   # 每个命令最多使用MAX-ARGS参数行
-P, --max-procs=MAX-PROCS # 一次运行最多的max-procs进程
-p, --interactive         # 运行命令前提示
-s, --max-chars=MAX-CHARS    # 最多将命令限制为MAX-CHARS
-x, --exit   #如果超过大小(参见-s)，则退出。
-t # 表示先打印命令，然后再执行。
-r no-run-if-empty # 当xargs的输入为空的时候则停止xargs，不用再去执行了。

#定义一个测试文件,内有多行文本数据：
$cat test.txt
a b c d e f 
g h i j k l 
m n o p q r 
s t u v w x y z

#示例1.多行输入单行输出和指定行输出
cat test.txt | xargs 
# a b c d e f g h i j k l m n o p q r s t u v w x y z
cat test.txt | xargs -n3   #每行显示3个参数
# a b c 
# d e f
# g h i 

#示例2.指定一个定界符进行分割
echo "nameXnameXnameXname" | xargs -dX 
echo "nameXnameXnameXname" | xargs -dX -n2  #结合n使用
name name 
name name

echo "testp-testp-wwwp-www" | xargs -d 'p'
# test -test -www -www

#示例3查找所有不可修改的文件 (对于入侵监测的时候可使用)
find . | xargs -I file lsattr -a file 2>/dev/null | grep '^----i'

#示例3.读取stdin将格式化后的参数传递给命令
#假设一个命令为 sk.sh 和一个保存参数的文件arg.txt：

#!/bin/bash 
echo $*  #sk.sh命令内容,打印出所有参数

#arg.txt文件内容：
aaa
bbb
ccc

#可以利用这个来更改ip文本以及脚本参数的传入
cat arg.txt | xargs -I {} ./sk.sh -p {} -l 
cat arg.txt | xargs -I {} echo $* "-p123" {}"- l123"
-p aaa -l 
-p bbb -l 
-p ccc -l

#示例4. 复制所有图片文件到 /data/images 目录下：
ls *.png *.jpg *.gif | xargs -n1 -I {} cp {} /data/images


#示例5.xargs结合find使用 ，ls -i 排除显示指定的文件
#用rm 删除太多的文件时候,可能得到一个错误信息：/bin/rm Argument list too long. 用xargs去避免这个问题：
find . -type f -name "*.log" -print0 | xargs -n1 --null   #换行或者空格分割以-n1有关系
# ./tuned/tuned.log
# ./audit/audit.log
# ./anaconda/anaconda.log
# ./anaconda/X.log
# ./anaconda/program.log

find . -type f -name "*.log" -print0 | xargs -0 -n3
# ./tuned/tuned.log ./audit/audit.log ./anaconda/anaconda.log
# ./anaconda/X.log ./anaconda/program.log ./anaconda/packaging.log
# ./anaconda/storage.log ./anaconda/ifcfg.log ./anaconda/ks-script-ECgRju.log

find . -type f -name "*.log" -print0 | xargs -0 rm -f #每个参数都回执行


#示例6.统计文件信息
find . -type f -name "*.php" -print0 | xargs -0 wc -l #统计一个源代码目录中所有php文件的行数

#示例7.查找所有的jpg 文件,并且压缩它们
find . -type f -name "*.jpg" -print | xargs tar -czvf images.tar.gz 


#示例7.其他补充使用
cat url-list.txt | xargs wget -c #假如你有一个文件包含了很多你希望下载的URL,你能够使用xargs下载所有链接

#!/bin/bash
XARGX替换url.txt front/back字符
cat url.txt | xargs -I {} echo $* "Url:"{}"/admin/web.jsp"  #method 1
awk '{print "Url:"$1"/admin/web.jsp"}' url.txt
# Url:http://192.168.2.2:8080/admin/web.jsp
# Url:http://192.168.2.1:8081/admin/web.jsp
# Url:http://192.168.1.101:80/admin/web.jsp

thread_num=256
ls | xargs -n 1 -I {} -P ${thread_num} sh -c "/usr/binfs_upload_file /etcfs/client.conf {}"
ls -I '*.yml' | xargs -I {} rm -rf {}

# Ubuntu
apt install -y dos2unix

# CentOS
yum install -y dos2unix

dos2unix [-hkqV] [-c convmode] [-o file ...] [-n infile outfile ...]

1. -k：保持输出文件的日期不变 
2. -q：安静模式，不提示任何警告信息
3. -V：查看版本
4. -c：转换模式，模式有：ASCII, 7bit, ISO, Mac, 默认是：ASCII
5. -o：写入到源文件
6. -n：写入到新文件

# 1.最简单的用法就是dos2unix直接跟上文件名。
dos2unix file1.sh file2.sh

# 2.如果一次转换多个文件，把这些文件名直接跟在dos2unix之后（注：也可以加上-o参数，也可以不加，效果一样）
dos2unix file1 file2 file3 
dos2unix -o file1 file2 file3 

# 3.如果想把转换的结果保存在别的文件，而源文件不变，则可以使用-n参数。
dos2unix -n oldfile newfile

# 4.如果要保持文件时间戳不变，加上-k参数
dos2unix -k file
dos2unix -k file1 file2 file3
dos2unix -k -o file1 file2 file3

# 5.递归替换目录中的所有文件，例如批量替换为linux或者dos文件格式：
sudo find public/components/ -name "*.py" | xargs dos2unix  # linux 格式
sudo find public/components/ -name "*.py" | xargs unix2dos  # dos 格式