Linux运维基础技能: 脚本编程与Linux命令

本系列文章一共三篇,分别为《脚本编程与 Linux 命令》、《接入层与网络基础》和《 MySQL 与 SQL 优化》,由腾讯高级工程师 luaruan(阮永顺) 原创、张戈博客整理分享,如有勘误请在博客留言。

希望对需要学习、面试 Linux 运维的同学有所帮助。

$1 入参,空值时默认赋值技巧

variable=${1:-"default value"} # 当未传参时,赋默认值。
echo $variable

$* 和 $@ 区别

  • $* 和 $@ 都表示传递给函数或脚本的所有参数,不被双引号(" ")包含 时,都以"$1" "$2" … "$n" 的形式输出所有参数。
  • 但是当它们被双引号(" ")包含时,"$*" 会将所有的参数作为一个整体, 以"$1 $2 … $n"的形式输出所有参数;"
  • $@" 会将各个参数分开,以"$1" "$2" … "$n" 的形式输出所有参数。
for var in "$*";do
    echo "$var"
done
for var in "$@";do
    echo "$var"
done

区别在于,分别输出 1 2 3 和

1

2

3

几个 Shell 里的内置变量

$# 入参个数
$$ PID
$0 文件名
$? 上个命令执行结果

Tips: awk 教程 https://coolshell.cn/articles/9070.html sed 教程 https://coolshell.cn/articles/9104.html Shell script 基础问答 https://linux.cn/article-5607-1.html

Shell 四则运算方法

let C=A+B
let A++ #let 时 变量前不需要再加$
echo $(($A+$B))
echo $[$A+$B]
expr $A + $B
echo $A+$B | bc #使用 bc 可以做比较复杂的运算

函数定义与调用

# 定义
function myfun(){ #function 可省略
    echo $1 echo "-----"
    echo $2 echo "-----"
    echo $3
}
# 调用
myfun "tom" "lucy" "jack"

条件判断

if [[ biaodashi ]]
判断文件是否存在 -f 存在真
判断目录是否存在 -d 存在真
判断字符串是否空 -z 字符串长度为 0 真
判断文件大小 -s 文件大小非 0 真
if [[ 条件 1 -a 条件 2 ]] # -a 表示与, -o 表示或

字符串与序列、随机数

name=John && echo 'My name is $name' 输出'My name is $name ,因为单引号里面的$只会当作字面值

字符串截取 a=123456789 ; echo ${a:0:3} 输出 123

echo 替换字符

var=tom_tom_lucy_jack_tomomttom
echo ${var/tom/mary} mary_tom_lucy_jack_tomomttom
echo ${var//tom/mary} mary_mary_lucy_jack_maryomtmary

序列

for i in {1..100} #1,2,3,4...100 这种方法好些,还可以输出间
隔系列
for i in {1..100..7} #1,8,15....99
for i in `seq 100 ` #1,2,3,4...100
for i in `seq 3 5 ` #3,4,5

随机数

echo $RANDOM
head /dev/urandom |md5sum|cksum|cut -c 1-9

使用 cksum 从管道灌进去一些随机文本可生成一些随机数字,需要使用 cut 切 割

字符串截取

a=123A123B456456C
echo ${a##*3} 从最左边找到 3 删除,贪婪 B456456C
echo ${a%%6*} 从最右边找到 6 删除,贪婪 123A123B45
echo ${a%?} 删除最右边一个字符 123A123B456456

提取最后一位

str="12345678"
i=$((${#str}-1)) #字符串长度减去 1,故 i=7
echo ${b:$i:1} #输出 8

日期

date +%F" "%R  # 2018-10-14 00:09

删除空行

cat 1.txt|tr -s "\n"
sed -i '/^$/d' 1.txt
grep -v "^$" 1.txt

Shell script 语法在线检查与建议:https://www.shellcheck.net 考察 if 、head 、tail、sed:https://leetcode.com/problems/tenth-line

考察 ls 按时间、体积大小排序

ls -lt 最新在前
ls -ltr 最旧在前
ls -lS 最大在前
ls -lSr 最小在前

考察 comm 的使用:http://man.linuxde.net/comm

前提是,文件要排序过。结果的第一列是仅仅在文件 1 出现的,第二列是仅仅在文件 2 出现 的,第三列是共同出现的。-1 表示不显示第一列,-2 表示不显示第二列,-3 表示不显示第三列。

考察 grep 与正则、子模式

https://leetcode.com/problems/valid-phone-numbers

https://www.interviewbit.com/problems/valid-phone-number/

答案 :

grep -P "(\d{3}-|\(\d{3}\)\s{1})\d{3}-\d{4}" input

另外, grep -c 表示匹配次数,-P 表示使用正则 -E 其实是扩展模式不是正则

考察容错处理、if、大于小于、正则、排序、去重统计、awk

https://leetcode.com/problems/word-frequency

#grep 使用 -o 输出、使用-P 表示正则、使用 awk 交换列

答案:

grep -o -P "\w{1,}" words.txt |sort |uniq -c|sort -nr|awk '{print $2,$1}'

考察 awk 编程

给定一个文本文件,内有 M 行 N 列数字,求数字求和

题:给定 id 姓名 工资文本,计算工资和

1 tom 2500
2 mary 3200
3 jack 4700
4 who 6900
5 lee 2600

答案:

awk 'BEGIN{sum=0}{sum+=$3}END{print sum}' 1.txt

Ps:注意 BEGIN、END 的位置;注意 awk 里定义的变量不用$号

考察 awk 编程、单引号里如何传递变量

https://www.interviewbit.com/problems/lines-in-a-given-range/

awk 'NR>='$L' && NR<='$R' {print $0}' input

Ps:在单引号字句里,使用'$A' 以传递变量 A

使用 awk 一行检测磁盘分区> 90%

df -Ph | awk ' NR != 1 && $5 >= 90 '  # 为什么单引号里加{}不行呢

考察 tr 替换、删除的使用、去除空格

https://www.interviewbit.com/problems/remove-punctuations/

cat input|tr -d -c "a-zA-Z0-9[:space:]" #注意 tr 里什么代表字母、什么代表数字集

检测主机是否存活的脚本(三次 ping 都失败)

Ps:有个陷阱,ubuntu 16 里使用 sh 执行时,function xxx() 会报错。因此命令行用 bash 执行脚本

#!/bin/bash
function check_ip() {                                   # 定义ping探测函数,function 可省略
    fail_count=0
	ip=$1
    for (( i=0;i<3;i++ ));do                            # 使用 (( 表达式 )) 来做 for 循环 ping 3 次
        if ping -W 1 -c 1 "$ip" > /dev/null 2>&1;then   # 使用-W 1 避免很久超时,单位只能整数秒有效
            break                                       # 如果ping成功了,则直接结束探测,节省时间
        fi
	(( fail_count=fail_count+1 ))                   #若ping失败,则失败数累加,这里使用(( 表达式 )) 比 let 更加高效
    done
    if [[ $fail_count -eq 3 ]];then
        echo "$ip is failed"
    else
        echo "$ip is ok"
    fi
}
iplist="192.168.1.100 192.168.1.101"                    # 给出IP列表,当然也可以自行改造成文本方案
for ip in $iplist;do
	check_ip $ip
done

批量并发检测存活主机

#!/bin/bash
for ip in 119.29.192.{1..255}; #批量 IP 的技巧 ;仅仅在 bash 生效,sh 不行
do 
(
    ping -c3 -W1 $ip >/dev/null ;
    if [ $? -eq 0 ];then
        echo "$ip alive"
    fi
) &     #使用( )& 挂在后台 并发,更快
done
wait #等待所有子进程结束

检测站点 URL 是否存活:考察 curl 的使用、文件入参、待优化多次检测

#!/bin/bash
# this script read urls from url.txt,then check whether the site isavailable
INPUT_FILE="url.txt"
while read u;do
    curl -s --connect-timeout 3 -o /dev/null $u #注意几个参数的使用 --silent 可以用-s
    if [ $? -ne 0 ];then
        echo "$u"" failed."
    else
        echo "$u"" success"
    fi
done < $INPUT_FILE

让进程在后台可靠运行的方法(意思是不会随着子 shell 的退出而挂)

nohup command > /dev/null 2>&1 &

screen -S <label>  # 用快捷键 CTRL -a d 来暂时断开当前会话

command & #注意,这样标准输出可能会在屏幕里翻滚

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏史上最简单的Spring Cloud教程

Openresty最佳案例 | 第2篇:Lua入门

什么是lua Lua 是一种轻量小巧的脚本语言,用标准C语言编写并以源代码形式开放, 其设计目的是为了嵌入应用程序中,从而为应用程序提供灵活的扩展和定制功能...

7479
来自专栏决胜机器学习

《Redis设计与实现》读书笔记(二) ——Redis中的字典(Hash)

《Redis设计与实现》读书笔记(二) ——Redis中的字典(Hash) (原创内容,转载请注明来源,谢谢) 一、概述 字典,又称符号表、关联数组、映射,是一...

39310
来自专栏Echo is learning

R 数据分析

2352
来自专栏代码世界

Python之几种常用模块

模块 注意事项: 所有的模块导入都应该尽量往上写 内置模块 扩展模块 自定义模块 模块不会重复被导入 : sys.moudles 从哪儿...

3356
来自专栏小勇DW3

自己手动写代码实现数据库连接池

池:一个高级的集合体(集合存储元素 + 管理方式–>提高效率),是对外提供同一种类型对象的集合,如(线程池、数据库连接池)  特性:复用性(每条连接可重复使用)...

1513
来自专栏闻道于事

单例模式你会几种写法?

1195
来自专栏Python疯子

Objective-C语法基础之Category的使用

Category:扩展类或分类 无论一个类设计的如何完美,都不可避免的会遇到没有预测到的需求,那怎么扩展现有的类呢?当然,继承是个不错的选择。但是Object...

872
来自专栏有趣的django

7.python常用模块

time模块 常用表示时间方式: 时间戳,格式化的时间字符串,元组(struct_time) UTC(Coordinated Universal Time,世界...

47211
来自专栏技术博文

PHP编程风格规范

本规范由 EasyChen 借鉴 SINA网络应用开发部《C++开发规范》和互动技术部《PHP4开发规范》,以及phpDocument规范 整理出的开发规范。我...

3667
来自专栏CDA数据分析师

工具 | 一些实用的 python 小建议

给dict设置默认值 这样能设置所有key的默认值为[],包括新添的key ? setdefault一次只能设置一个值,但好处是能使用链式语法,但default...

2055

扫码关注云+社区

领取腾讯云代金券