由于工作需要,最近重新开始拾掇shell脚本。虽然绝大部分命令自己平时也经常使用,但是在写成脚本的时候总觉得写的很难看。而且当我在看其他人写的脚本的时候,总觉得难以阅读。毕竟shell脚本这个东西不算是正经的编程语言,他更像是一个工具,用来杂糅不同的程序供我们调用。因此很多人在写的时候也是想到哪里写到哪里,基本上都像是一段超长的main函数,不忍直视。同时,由于历史原因,shell有很多不同的版本,而且也有很多有相同功能的命令需要我们进行取舍,以至于代码的规范很难统一。 考虑到上面的这些原因,我查阅了一些相关的文档,发现这些问题其实很多人都考虑过,而且也形成了一些不错的文章,但是还是有点零散。因此我就在这里把这些文章稍微整理了一下,作为以后我自己写脚本的技术规范。
描述:在进行shell脚本语言编写的时候,不仅要注意写的功能,更要注意他的美观以及通用性,还需要让其他参与运维的人都能看懂;
发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/163938.html原文链接:https://javaforall.cn
由于工作需要,最近重新开始拾掇 shell 脚本。虽然绝大部分命令自己平时也经常使用,但是在写成脚本的时候总觉得写的很难看。而且当我在看其他人写的脚本的时候,总觉得难以阅读。毕竟 shell 脚本这个东西不算是正经的编程语言,他更像是一个工具,用来杂糅不同的程序供我们调用。因此很多人在写的时候也是想到哪里写到哪里,基本上都像是一段超长的 main 函数,不忍直视。同时,由于历史原因,shell 有很多不同的版本,而且也有很多有相同功能的命令需要我们进行取舍,以至于代码的规范很难统一。
我在去年整理了一个关于多行命令并行管理的脚本「submit.sh」,前些日子曾老师发来消息提供了更新的版本,今天我们一起来探讨一下。
Shell本身是一个用C语言编写的程序,它是用户使用Unix/Linux的桥梁,用户的大部分工作都是通过Shell完成的。Shell既是一种命令语言,又是一种程序设计语言。作为命令语言,它交互式地解释和执行用户输入的命令;作为程序设计语言,它定义了各种变量和参数,并提供了许多在高级语言中才具有的控制结构,包括循环和分支。
npm 脚本的原理非常简单。每当执行 npm run,就会自动新建一个 Shell,在这个 Shell 里面执行指定的脚本命令。因此,只要是 Shell(一般是 Bash)可以运行的命令,就可以写在 npm 脚本里面。
由于工作需要,最近重新开始拾掇shell脚本。虽然绝大部分命令自己平时也经常使用,但是在写成脚本的时候总觉得写的很难看。而且当我在看其他人写的脚本的时候,总觉得难以阅读。毕竟shell脚本这个东西不算是正经的编程语言,他更像是一个工具,用来杂糅不同的程序供我们调用。因此很多人在写的时候也是想到哪里写到哪里,基本上都像是一段超长的main函数,不忍直视。同时,由于历史原因,shell有很多不同的版本,而且也有很多有相同功能的命令需要我们进行取舍,以至于代码的规范很难统一。
来自:Myths的个人博客 作者:myths 链接:https://blog.mythsman.com/2017/07/23/1/(点击尾部阅读原文前往) 前言 由于工作需要,最近重新开始拾掇shell脚本。虽然绝大部分命令自己平时也经常使用,但是在写成脚本的时候总觉得写的很难看。而且当我在看其他人写的脚本的时候,总觉得难以阅读。毕竟shell脚本这个东西不算是正经的编程语言,他更像是一个工具,用来杂糅不同的程序供我们调用。因此很多人在写的时候也是想到哪里写到哪里,基本上都像是一段超长的main函数,不
在自定义安装软件的时候,经常需要配置环境变量,下面列举出各种对环境变量的配置方法。
它是专门为文本处理设计的编程语言,也是行处理软件,通常用于扫描、过滤、统计汇总工作数据可以来自标准输入也可以是管道或文件
我在当前目录下获得了 2 个 .txt 文件。所以我期望 ${len} 的结果为 '2'。然而,它打印的是 '1'。原因是它将 find 命令的所有结果视为一个元素。我该如何修复这个问题?
Linux是多用户的任务系统,对于每个用户都可以指定特定的用户变量。针对不同程序在不同的环境下运行就需要修改环境变量进行定制,本文介绍 Linux常见的环境变量设置方法,希望对你有帮助。
/etc/profile 范围:对所有用户生效 作用: a.定义USER变量 b.定义LOGNAME变量 c.定义MAIL变量 d.定义PATH变量 e.定义HOSTNAME变量 f.定义HISTSIZE变量 g.定义umask值 i.调用/etc/profile.d/*.sh文件 /etc/profile.d/*.sh 范围:对所有用户生效 说明:这是一族sh文件,没个都会被调用 例如: /etc/profile.d/lang.sh 作用:调用/etc/sysconfg/i18n设置语言环境 ~/.bash_profile 范围:用户自己的家目录,对自己生效 作用: a.调用 ~/.bashrc文件 b.在PATH变量后加入了":$HOME/bin"这个目录 ~/.bashrc 范围:用户自己的家目录,对自己生效 作用: a.定义alias别名 b.调用/etc/bashrc /etc/bashrc 范围:对所有用户生效 作用: a.定义PS1变量(登录以后的提示符样式) b.如果是无密码登录,则 定义umask值 定义PATH变量 调用/etc/profile.d/*.sh文件
Shell按行读取文件的方法有很多,常见的三种方法如下: 要读取的文件: 1 [root@mini05 20180930-2]# cat file.info 2 111 3 222 4 333 444 5 555 666 写法一: 1 [root@mini05 20180930-2]# cat read1.sh 2 #!/bin/bash 3 ################ Version Info ################## 4 # Create Date: 2018-09-2
一、for循环 for循环的运作方式,是讲串行的元素意义取出,依序放入指定的变量中,然后重复执行含括的命令区域(在do和done 之间),直到所有元素取尽为止。
shell 是一种脚本语言 脚本:本质是一个文件,文件里面存放的是 特定格式的指令,系统可以使用脚本解析器 翻译或解析 指令 并执行(它不需要编译) shell 既是应用程序 又是一种脚本语言(应用程序 解析 脚本语言) shell命令解析器: 系统提供 shell命令解析器: sh ash bash 查看自己linux系统的默认解析:echo $SHELL
本章讨论bash shell的循环命令for、while和until 13.1 for命令 重复执行一系列命令在编程中很常见。 bash shell提供了for命令,允许你创建一个遍历一系列值的循环。每次迭代都使用其中一个值来执行已定义好的一组命令。下面是基本格式 for var in list do command done 在list参数中需要提供迭代中要用到的一系列值。会依次迭代下去。每次迭代中,var会包含列表中要用到的一系列值。 do 和 done直接输入的命令可以是一条或多条标准的bash sh
为了使程序在崩溃时产生core文件,我们经常在终端使用命令ulimit -c unlimited 来设置。但是当前设置只能在当前会话有效,当关闭当前会话,打开新的终端会话时,core file size又会变成默认的0。
为了演示,在此创建一个名为“ mycontent.txt”的文本文件,文件内容在下面:
MySQL数据库是轻量级、开源数据库的佼佼者,其功能和管理,健壮性与Oracle相比还是有相当的差距。因此有很多功能强大第三方的衍生产品,如percona-toolkit,XtraBackup等等。percona-toolkit是一组高级命令行工具的集合,可以查看当前服务的摘要信息,磁盘检测,分析慢查询日志,查找重复索引,实现表同步等等。这个工具套件对DBA及运维人员着实不可多得。本文简要描述这个工具的安装及其工具的大致介绍。
(2)案例 #求出(1+2+...+n)的总和 sum=0 read -p "Please input a positive integer: " num if [[ $num =~ [^0-9] ]] ;then echo "input error" elif [[ $num -eq 0 ]] ;then echo "input error" else for i in `seq 1 $num` ;do sum=$[$sum+$i] done echo $sum fi unset zhi 分析:sum初始值为0,请输入一个数,先判断输入的是否含有除数字以外的字符,有,就报错;没有判断是否为0,不为0进入for循环,i的范围为1~输入的数,每次的循环为sum=sum+i,循环结束,最后输出sum的值。 #求出(1+2+...+100)的总和 for (( i=1,num=0;i<=100;i++ ));do [ $[i%2] -eq 1 ] && let sum+=i done echo sum=$sum 分析:i=1,num=0;当i<=100,进入循环,若i÷2取余=1,则sum=sum+i,i=i+1。 2、while (1)用法格式 while 循环控制条件 ;do 循环 done 循环控制条件;进入循环之前,先做一次判断;每一次循环之后会再次做判断;条件为“true” ,则执行一次循环;直到条件测试状态为“false” 终止循环 (2)特殊用法(遍历文件的每一行): while read line; do控制变量初始化 循环体 done < /PATH/FROM/SOMEFILE 或cat /PATH/FROM/SOMEFILE | while read line; do 循环体 done 依次读取/PATH/FROM/SOMEFILE文件中的每一行,且将行赋值给变量line (3)案例: #100以内所有正奇数之和 sum=0 i=1 while [ $i -le 100 ] ;do if [ $[$i%2] -ne 0 ];then let sum+=i let i++ else let i++ fi done echo "sum is $sum" 分析:sum初始值为0,i的初始值为1;请输入一个数,先判断输入的是否含有除数字以外的字符,有,就报错;没有当i<100时,进入循环,判断 i÷2取余 是否不为0,不为0时为奇数,sum=sum+i,i+1,为0,i+1;循环结束,最后输出sum的值。 3、until 循环 (1)用法 unitl 循环条件 ;do 循环 done 进入条件:循环条件为true ;退出条件:循环条件为false;刚好和while相反,所以不常用,用while就行。 (2)案例 #监控xiaoming用户,登录就杀死 until pgrep -u xiaoming &> /dev/null ;do sleep 0.5 done pkill -9 -u xiaoming 分析:每隔0.5秒扫描,直到发现xiaoming用户登录,杀死这个进程,退出脚本,用于监控用户登录。 4、select 循环与菜单 (1)用法 select variable in list do 循环体命令 done
在linux中,Bash 脚本是很基础的知识,大家可能一听bash脚本感觉很高大上,像小编当初刚开始学一样,感觉会写脚本的都是大牛。虽然复杂的bash脚本是很烧脑,但是,当我们熟练的掌握了其中的用法与技巧,再多加练习,总有一天也会成为得心应手的bash脚本大牛。
思考:上述六种环境变量的配置方式, Linux是按什么顺序加载的呢?是否会相互覆盖相同的环境变量呢?
上面命令的意思是,如果Command1命令运行成功,则继续运行Command2命令。
read命令是Shell内建命令,用于从标准输入或-u选项指定的文件描述符中读取单行,并将读取的单行根据IFS变量分割成多个字段,并将分割后的字段分别赋值给指定的变量列表var_name。第一个字段分配给第一个变量var_name1,第二个字段分配给第二个变量var_name2,依次到结束。如果指定的变量名少于字段数量,则多出的字段连同分隔符分配给最后一个var_name,如果指定的变量命令多于字段数量,则多出的变量赋值为空。如果没有指定任何var_name,则分割后的所有字段都存储在特定变量REPLY中。当然,其不仅可以赋值变量,还可以赋值数组。
set 命令主要用于查看和修改 Shell 环境的运行参数,可以定制 Shell 脚本的运行环境。
BASH 的基本语法 最简单的例子 —— Hello World! 关于输入、输出和错误输出 BASH 中对变量的规定(与 C 语言的异同) BASH 中的基本流程控制语法 函数的使用 2.1 最简单的例子 —— Hello World! 几乎所有的讲解编程的书给读者的第一个例子都是 Hello World 程序,那么我们今天也就从这个例子出发,来逐步了解 BASH。 用 vi 编辑器编辑一个 hello 文件如下: #!/bin/bash # This is a
不知道你有没有遇到过这样的场景,当你需要设置一个环境变量,或者运行一个程序设置你的shell或桌面环境,但是不知道在哪里是最方便设置的位置。
循环是编程语言的基本概念之一。当您想要多次运行一系列命令直到满足特定条件时,循环很方便。
1. 开机出现 pssswd ctrl + d 继续 解决: linux 磁盘挂载目录 /etc/fstab 挂载了不存在的磁盘,需要注释掉后重新启动 2. Linux循环登录:输入密码登录后闪一下又回登录界面 root 密码登录返回登录界面: 解决:注释掉 /root/.bash_profile 文件的所有内容 3. linux 命令 table 补全报错: bash: cannot create temp file for here-document: Read-only file system 解决
精心整理了生物信息学中常用的 Linux 命令,很不容易。所有命令的用法都经本人亲自测试。掌握这些命令,是每一个生信人基本的自我修养。
作者精心整理了生物信息学中常用的 Linux 命令,很不容易。所有命令的用法都经本人亲自测试。掌握这些命令,是每一个生信人基本的自我修养。
GNU Parallel是一个shell工具,为了在一台或多台计算机上并行的执行计算任务,一个计算任务可以是一条shell命令或者一个以每一行做为输入的脚本程序。通常的输入是文件列表、主机列表、用户列表、URL列表或者表格列表;一个计算任务也可以是一个从管道读取的一条命令。GNU Parallel会把输入分块,然后通过管道并行的执行。
As we discussed earlier, the shell maintains a body of information during our shellsession called the environment. Data stored in the environment is used by programs todetermine facts about our configuration. While most programs use configuration files tostore program settings, some programs will also look for values stored in the environmentto adjust their behavior. Knowing this, we can use the environment to customize ourshell experience.
在Linux系统中,脚本是个举足轻重的家伙,甚至你不会写点脚本,都不能说你会Linux。这句话并不是夸张,因为脚本能帮助你做很多重复性的工作,同时也能按你的需求,给你需要的数据。所以说,脚本在Linux中是举足轻重的家伙。
在普通用户看来 ~/.bashrc 可能是最重要的启动文件,因为系统几乎总是要读取。non-login shell 会默认读取 ~/.bashrc ,而大多数login shell 的启动文件也能 以读取 ~/.bashrc 文件的方式来编写。
使用RHadoop结合hdfs存储R语言输入数据 1 R语言是著名的开源统计分析和绘图语言,但限于功能,只能进行单机存储数据和计算,通过hadoop的功能可以存储更多的数据和并行计算。 Rhadoop包括rhdfs、rmr2、rhbase等R语言插件,rhdfs插件可以加载hdfs文件系统,rmr2可以使用mapreduce做并行计算。 这里先使用rhdfs来简单介绍下r语言怎样读取较大的文件 2 首先安装rhdfs插件,由于R语言要调用java 因此需要安装rjava插件 install.package
read命令是一个内置命令,用于从终端或文件读取输入(参见表14-1)。read命令读取一个输入行,直至遇到换行符。行尾的换行符在读入时将被转换成一个空 字符。如果read命令后未跟变量名,读入的行将被赋给内置变量REPLY。也可以用read命令来中断程序的运行,直至用户输入一个回车键。要知道如何 有效地使用read命令从文件读取输入行,请参见14.6节的“循环控制命令”。如果带-r选项,read命令将忽略反斜杠/换行符对,而把反斜杠作为行 的一部分。read命令有4个控制选项:-a,-e,-p,-r②。 表14-1 read命令 格式 含义 read answer 从标准输入读取一行并赋值给变量answer read first last 从标准输入读取一行,直至遇到第一个空白符或换行符。把用户键入的第一个词存到变量first中,把该行的剩余部分保存到变量last中 read 标准输入读取一行并赋值给内置变量REPLY read –a arrayname 读入一组词,依次赋值给数组arrayname③ read -e 在交互式shell命令行中启用编辑器。例如,如果编辑器是vi,则可以在输入行时使用vi命令③ read –p prompt 打印提示符,等待输入,并将输入赋值给REPLY变量③ read –r line 允许输入包含反斜杠③
RAID 0又称为Stripe或Striping,它代表了所有RAID级别中最高的存储性能。RAID 0提高存储性能的原理是把连续的数据分散到多个磁盘上存取,这样,系统有数据请求就可以被多个磁盘并行的执行,每个磁盘执行属于它自己的那部分数据请求。这种数据上的并行操作可以充分利用总线的带宽,显著提高磁盘整体存取性能。
老习惯,列出本文参考或引用或转载的文档和博客,致以崇高的敬意,感兴趣的可以去看看 1.http://postgresapp.com/ 2.http://postgresapp.com/documentation/cli-tools.html 3.http://www.yiibai.com/postgresql/2013080439.html 4.终极 Shell——ZSH: https://zhuanlan.zhihu.com/p/19556676 5.Zsh安装配置指南 http://www.linuxidc.com/Linux/2013-09/90377.htm
有时还会需要脚本能够与使用者交互。bash shell提供了一些不同的方法来从用户处获得数据, 包括命令行参数,命令行选项,以及直接从键盘读取输入的能力。 14.1 命令行参数 就是添加在命令后的数据 比如: ./addem 10 30 10 和 30 就是传递的命令行参数 14.1.1 读取参数 bash shell会将一些称为位置参数的特殊变量分配给输入到命令行中的所有参数。 比如: $0:程序名 $1:第一个参数 $2:第2个参数 …… 以此类推直到第九个参数。 每个参数都必须用空格分
领取专属 10元无门槛券
手把手带您无忧上云