使用shell进行日志分析(r2第14天)

最近做数据批量加载的时候,是通过pl/sql嵌在shell脚本里执行的。 脚本运行后生成的日志类似如下的格式

Get Dump file for APP_TMP.TESTRESS_NAME_LINK...
Elapsed: 00:00:00.64
.
DB details is accessible from source schema ...
.
DB details is accessible from target schema ...
.
Directory  ext_datapump_dir has read,write permission ,proceed...
.
SYNONYM TESTEEMENT exists in CONNECT account,proceed...
.


Get Dump file for APP_TMP.TESTEEMENT...
Elapsed: 00:00:00.49
.
DB details is accessible from source schema ...
.
DB details is accessible from target schema ...
.
Directory  ext_datapump_dir has read,write permission ,proceed...
.
SYNONYM TESTEEMENT_RESOURCE exists in CONNECT account,proceed...
.

因为表比较多,所以日志看起来不是很清晰,想生成类似报表的格式来查看每个表耗费了多长时间,就一目了然了。

期望的结果类似下面的样子。

#########################################################################
Table_name                                          Elapsed        time  
#########################################################################
APP_TMP.TESTRESS_DATA...                            Elapsed: 00:00:01.13  
APP_TMP.TESTRESS_NAME_LINK...                       Elapsed: 00:00:00.64  
APP_TMP.TESTEEMENT...                               Elapsed: 00:00:00.49  
APP_TMP.TESTEEMENT_RESOURCE...                      Elapsed: 00:00:00.74  
APP_TMP.TEST_RES_HISTORY...                         Elapsed: 00:00:00.82  
APP_TMP.TEST_ACCOUNT...                             Elapsed: 00:00:01.03  
APP_TMP.TEST_ADDRESS_NAME...                        Elapsed: 00:00:00.78  
APP_TMP.TEST_AGED_TRIAL_BALANCE...                  Elapsed: 00:00:01.16  
APP_TMP.TEST_BILLING_ARRANGEMENT...                 Elapsed: 00:00:00.61  
APP_TMP.TEST_CHARGE_GROUP...                        Elapsed: 00:00:01.66  
APP_TMP.TEST_CHARGES...                             Elapsed: 00:00:06.73  
APP_TMP.TEST_CREDIT_DEBIT_LINK...                   Elapsed: 00:00:01.67  
APP_TMP.TEST_CUSTOMER_CREDIT...                     Elapsed: 00:00:00.40  
APP_TMP.TEST_DEPOSIT_REQUEST...                     Elapsed: 00:00:00.10  
APP_TMP.TEST_DIRECT_DEBIT_REQUEST...                Elapsed: 00:00:00.67  
APP_TMP.TEST_INVOICE...                             Elapsed: 00:00:01.98  
APP_TMP.TEST_PAY_CHANNEL...                         Elapsed: 00:00:00.53  
APP_TMP.TEST_PAYMENT...                             Elapsed: 00:00:01.28  
APP_TMP.TEST_PAYMENT_ACTIVITY...                    Elapsed: 00:00:00.19  


首先是根据关键字找到对应的行,下一行就是耗费的时间。想通过命令简单的实现。最后grep帮了大忙。
grep   -A1  --color=auto  "Get Dump file for "  extract.log
输出类似下面的样子。
--
Get Dump file for APP_TMP.TESTTOMER...
Elapsed: 00:00:00.91
--
Get Dump file for APP_TMP.TESTNT_DISTRIBUTE...
Elapsed: 00:00:00.84
--
Get Dump file for APP_TMP.TEST_MEMO...
Elapsed: 00:00:22.27
--
Get Dump file for APP_TMP.TESTE_DATA...
Elapsed: 00:00:01.55
--

达到了初步效果。就需要把冗余的信息去除“Get Dump file for ",然后能让对应的执行时间横向显示。
可以使用sed来做。
sed 's/Get Dump file for //' |sed 'N;N;s/\n/  /g'

APP_TMP.TESTRESS_DATA...  Elapsed: 00:00:01.13  --
APP_TMP.TESTRESS_NAME_LINK...  Elapsed: 00:00:00.64  --
APP_TMP.TESTEEMENT...  Elapsed: 00:00:00.49  --
APP_TMP.TESTEEMENT_RESOURCE...  Elapsed: 00:00:00.74  --

效果基本达到了,但是显示比较粗糙,不规整,这个时候awk能帮上大忙了。
使用如下的脚本来格式化输出
awk '
BEGIN{
print "#########################################################################"
printf "%-50s %8s %11s  \n", "Table_name","Elapsed","time"
print "#########################################################################"
}
{printf "%-50s %8s %11s  \n", $1,$2,$3,$4
}'


这样环环相扣,就可以输出基本完整的报告了。完整命令如下:
grep   -A1  --color=auto  "Get Dump file for "  extract.log |sed 's/Get Dump file for //' |sed 'N;N;s/\n/  /g' |awk '
BEGIN{
print "#########################################################################"
printf "%-50s %8s %11s  \n", "Table_name","Elapsed","time"
print "#########################################################################"
}
{printf "%-50s %8s %11s  \n", $1,$2,$3,$4
}'

输出:
#########################################################################
Table_name                                          Elapsed        time  
#########################################################################
APP_TMP.TESTRESS_DATA...                            Elapsed: 00:00:01.13  
APP_TMP.TESTRESS_NAME_LINK...                       Elapsed: 00:00:00.64  
APP_TMP.TESTEEMENT...                               Elapsed: 00:00:00.49 

原文发布于微信公众号 - 杨建荣的学习笔记(jianrong-notes)

原文发表时间:2014-06-25

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏云计算爱好者

你常用的10个MySQL命令

今天给大家介绍一些简单的MySQL常用的实用命令。如果你已经熟练使用MySQL就可以跳过啦!如果还不知道的都可以在自己机器上练习一下。

1667
来自专栏程序猿

SQL 注入语句特征

语句特征 1.判断有无注入点 ; and 1=1 and 1=2 2.猜表一般的表的名称无非是admin adminuser user pass passwor...

37311
来自专栏菩提树下的杨过

无限级分类(非递归算法/存储过程版/GUID主键)完整数据库示例_(1)表结构

无限分类是一个老生常谈的话题了,网上有很多解决方案,可以分成二个流派,一种利用递归,一种利用非递归(当然需要其它一些辅助手段判断节点层次),但核心表结构都差不多...

1786
来自专栏java学习

oracle数据库的常用的命令操作!

Java基础 | 数据库 | Android | 学习视频 | 学习资料下载 最新通知 数据库技术是计算机科学技术的一个重要分支。从20世纪50年代中期开始,...

3027
来自专栏乐沙弥的世界

使用FREDATED引擎实现跨实例访问

    跨数据库服务器,跨实例访问是比较常见的一种访问方式,在Oracle中可以通过DB LINK的方式来实现。对于MySQL而言,有一个FEDERATED存储...

681
来自专栏龙首琴剑庐

mybaits3整合spring总结

1、maven定义properties: <org.springframework.version>4.3.1.RELEASE</org.springframe...

3117
来自专栏GreenLeaves

Oracle Schema

1、这是Schema的definition: A schema is a collection of database objects (used by a u...

1796
来自专栏开发与安全

Mysql数据库学习(一):数据库基本概念、关系型数据库、Mysql数据库安装配置、DDL/DCL/DML语句

一、数据库基本概念 数据库(DB) 按照数据结构来组织、存储数据的仓库 数据库管理系统(DBMS) 数据库管理系统(Database Manag...

1950
来自专栏菜鸟致敬

MySQL 查询数据

MySQL 数据库使用SQL SELECT语句来查询数据。 你可以通过 mysql> 命令提示窗口中在数据库中查询数据,或者通过 Python来查询数据。 语法...

2776
来自专栏Java成神之路

Mybatis-Generator_学习_01_mybatis-generator笔记

511

扫码关注云+社区