专栏首页地方网络工作室的专栏Shell 从日志文件中选择时间段内的日志输出到另一个文件

Shell 从日志文件中选择时间段内的日志输出到另一个文件

Shell 从日志文件中选择时间段内的日志输出到另一个文件

情况是这样的,某系统的日志全部写在一个日志文件内,所以这个文件非常大,非常长,每次查阅的时候非常的不方便。所以,相关人员希望能够查询某个时间段内的日志。我简单些了一个脚本来实现了这个效果。

不过我的实现不是最佳方案,性能上还有很大的优化空间,但我目前水平有限,没有想到更好的方法。

分析日志

5074400:2017-08-01T01:34:22.724252+00:00 test_rest_1.test_default bpmn_test: [2017/08/01 09:34:22,723] trump.restapi preprocess: 8bc570ee765911e799070242ac120006 - GET profile:{}:None

日志内容如上,每一行的格式都差不多。里面有两个时间的参数,我决定取后面的这个时间的参数。想一下,应该很容易取到。

然后拿这个时间和我们设定的开始时间和结束时间进行比较,如果在时间段之内,则把这一行字符串插入到一个新的文件。

逻辑清晰,开始实现。

实现 shell 脚本

# 设定开始时间
s='2017/08/01 0:0:0'
# 设定结束时间
e='2017/08/01 24:0:0'
# 读取 3.log 这个原始文件,并且逐行循环
cat 3.log | while read line; do
  # 每读取一行,就在终端打一个#号,以便我知道这脚本还活着 :)
  # -n 是让 echo 的内容在前面追加,而不是换行
  # 在 mac 下面,用 sh log.sh 的方式运行会出错,不知道为什么
  # 换成 bash log.sh 则可以顺利运行
  echo -n "#"
  # 用 cut 方式取得每一行的时间,并赋予变量
  t=$(echo $line | cut -f 2 -d \[ | cut -f 1 -d \,)
  # 如果 t 在我们设定的时间段内
  if [[ "$t" > "$s" ]] && [[ "$t" < "$e" ]];
    # 则将改行追加到 new.log 文件
    then echo $line >> new.log
  fi
done

好,逻辑非常清晰的实现了这个脚本。但是遇到了脚本兼容性的问题。我没搞明白为什么 sh log.sh 运行方式下 echo -n 这个参数会出问题。但是在 bash log.sh 的情况下是按照我的理解正常输出的。

问了下同事,shell 兼容性问题是一个很常见的问题。

优化这个脚本

同事给出了一个新的语法,不甚理解,但是据说效率会提升很多。代码如下:

# 设定开始时间
s='2017/08/01 0:0:0'
# 设定结束时间
e='2017/08/01 24:0:0'
# 读取每一行循环
while read line; do
  # 每读取一行,就在终端打一个#号,以便我知道这脚本还活着 :)
  # -n 是让 echo 的内容在前面追加,而不是换行
  # 在 mac 下面,用 sh log.sh 的方式运行会出错,不知道为什么
  # 换成 bash log.sh 则可以顺利运行
  echo -n "#"
  # 用 cut 方式取得每一行的时间,并赋予变量
  t=$(echo $line | cut -f 2 -d \[ | cut -f 1 -d \,)
  # 如果 t 在我们设定的时间段内
  if [[ "$t" > "$s" ]] && [[ "$t" < "$e" ]];
    # 则将改行追加到 new.log 文件
    then echo $line >> new.log
  fi
# 3.log 作为参数传进来
done < 3.log

同事解释了一下原理,没听懂,但确实可以运行,并且效率有所提高。

2017年08月03日补充

上面循环的方法是在是太浪费时间了,所以换了一个思路,实现了同样的效果。参见 Shell 命令行 从日志文件中根据将符合内容的日志输出到另一个文件

以上脚本均在 mac 下测试通过,在 linux 下可能会有稍许不同。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Shell 循环中实现展示进度百分比的脚本方法

    Shell 循环中实现展示进度百分比的脚本方法 当我需要处理一个几万行的文件的时候,需要处理的时间是比较长的。我一开始的想法是,没处理一行,就输出一个 # 号。...

    FungLeo
  • Shell 命令行获取本机IP,grep的练习

    Shell 命令行获取本机IP,grep的练习 在 mac 下面输入 ifconfig 或者在 linux 下面输入 ip a 就可以得到我们的网卡信息。不过通...

    FungLeo
  • 打造前端 Deepin Linux 工作环境——安装 koala css 预编译工具(安装deb包的方法

    打造前端 Deepin Linux 工作环境——安装 koala css 预编译工具(安装deb包的方法) koala 是国人开发的一个 css 预编译工具,可...

    FungLeo
  • ssh 免密码设置失败原因总结

    先复习一下设置ssh免密码操作的步骤: 进入主目录 cd 生成公钥 ssh-keygen -t rsa -P '' (注:最后是二个单引号,表示不设置密码) 然...

    菩提树下的杨过
  • 有时间BB,不如想想怎么让别人闭嘴吧

    经过上次「SKR!虎扑66万JRS大战3300万吴亦凡护卫队,别逼我拿Python」一事,我发现观众里有很多JRs,「这就是灌篮」一定不陌生。

    用户1634449
  • Oracle 10.2.0.1 升级到 10.2.0.4

    数据库升级并不难,只要遵循其步骤,一般问题不大。但是升级失败的情况也是屡见不鲜,尤其是生产数据库的升级,搞不定的时候甚至要创建SR。

    Leshami
  • 一文带你了解卷积网络中的几何学

    几何深度学习是个很令人兴奋的新领域,但是它的数学运算逐渐转移到代数拓朴和理论物理的范围。

    AI研习社
  • 关于关闭WPS锁屏屏保及设置电脑自动关闭显示屏及休眠的分享

      最近公司工作的电脑突然自动加上了屏保锁屏,百思不得其解什么时候设置的,谁给设置的,未经用户允许就擅自给用户设置了???

    用户7053485
  • 如何学python-第四课 基本的用户输入

    译者注:原作者留的练习任务都比较灵活,并不是具体的要求。而根据我自身的经验,很多同学看到这种需要探索精神的要求,可能就不愿意自己去进一步探索了(或者不知道具体要...

    用户1631416
  • LINC switch系列之安装指南

    前言 LINC switch是一个由flowforwarding. org主导开发的一款基于Apache2.0协议开源的Openflow交换机软件。本文介绍了其...

    SDNLAB

扫码关注云+社区

领取腾讯云代金券