00:00
那上一节呢,我们已经完成了五个单一规则检测脚本啊,分别是空值检测脚本、重复值检测脚本、值域检测脚本,每日环比增长检测脚本以及每周同比增长检测脚本。那本节我们要做的工作呢?实际上就是按照数仓每层的统计需求啊,对上述的脚本进行集成啊,OK,我们现在先来回顾一下第一层,也就是OD层的统计需求。那此处我们的统计需求有数,环比增长,同比增长。啊,那还有final amount这个字段的域检测,OK,那这就是我们的统计需求啊,那此处呢,也给出了每个指标的上下线,所以呢,我们就需要在ods层的检测脚本当中去分别调用每日环比增长脚本,也就是day.sh啊,还有每周同比增长脚本,也就是week on week.sh,以及值域检测脚本,也就是点SH,并且呢,我们需要按照具体的要求,在调用脚本的时候呢,传入我们所需的每个参数。
01:11
啊OK,那接下来呢,我们来看一下这个脚本当中的具体内容,我们还是先把它创建出来啊来这个脚本的名字呢,叫做check ODs.SH来我们创建出来右键,然后新建一个文件。V啊,然后把脚本的内容拿过来啊。这个脚本内容其实很简单,来,CTRLC。Control v,好,那现在我们一起来看一下这个脚本的内容啊,那首先第一行呢,大家一起看一下啊,此处呢,是不是将DOLLAR1,也就是这个脚本传入的第一个参数赋予了DT变量啊,对吧?啊然后呢,下边又做了一个判断,如果DT变量它为空啊,那这时候怎么办呢?啊,这时候就自动计算前一天的日期,然后呢,并且将结果赋予DT变量啊,那也就是说我们第一个参数呢,是可传可不传的对吧?啊如果传了诶,那DT的值就等于我们传入参数的值,那如果没传啊,没传呢,DT就会等于前一天的日期啊好,那完之后我们继续往下进行啊,那下面的实际上就是对我们刚才提到的每个脚本的调用了啊来我们先看第一个啊,第一个是不是就是调用了on.sh。
02:21
对吧,然后呢,根据要求传入了所需的每个参数啊杠T啊传入的是表,那杠D呢传入的是统计日期,那杠S呢,传入的是统计结果的下限,哎,杠X呢,传的是统计结果的上限,那最后一个杠L,哎,传入的就是告警级别。是根据具体的要求了我们的每一个参数。OK,那这就是这个脚本的全部内容啊,那其实这个脚本看起来内容很少对吧?那为什么很少呢?是因为我们现在在OD层挑选了一张表作为例,对吧?啊,那所以说我们统计的指标就很少,那当然如果说我们需要统计更多的表的更多指标啊,那我们应该怎么做呢?啊,其实也不难啊,我们需要根据具体的需求在这儿呢,再调用相应的脚本,然后呢,传入相应的参数就可以了。
03:20
啊好,那这个呢,就是这个脚本的内容啊,那接下来呢,我们再来说一下这个脚本后期怎么使用啊,其实这个脚本的使用也不难啊,那我们后期使用的时候呢,只需要调用这个脚本啊,就能够去检测OD层的各个指标了,对吧?啊,那当然呢,我们最多只需要给这个脚本传入一个日期参数就可以了啊,那当然大多数情况下呢,其实我们是不需要传入这个参数的。对吧,如果不传,他是不是会自己去获取前一天的日期啊,而我们的日常统计呢,就是要去计算每天的前一天的指标,所以说呢,在绝大多数的情况下,我们是不需要传入第一个参数的啊。好了,那这就是check ODs.SH这个脚本的全部内容。
04:03
好,那我们再继续往下看啊,那下一个呢,是DWD的检测脚本啊,那同样呢,在DWD的检测脚本当中,我们要做的工作就是根据我们具体的需求去调用相应的脚本,然后呢再传入相应的参数。啊,对吧?啊,我们先来看一下DWD层的具体需求啊,DWD层呢,我们挑选了DWD作为我们的事例,对吧?然后我们具体的需求有什么呢?哎,主要就是这张表呢,逐渐空值检查和逐渐的重复值检查,那同样呢,这里也给出了统计指标的上下限啊好,那接下来我们一起来看一下这个脚本的具体内容啊,那首先把脚本创建出来啊,脚本的名字呢,叫做check dwd.sh来右键新建文件,CTRL位,嗯,来回撤。好,我们把脚本内容拿一下啊。来,CTRLC。来放在这CTR啊,那这个脚本呢,同样也是先维护了一个DT变量啊,如果我们传第一个参数,那DT变量的值呢,就等于第一个参数的值,如果不传,那DT变量的值呢,就等于前一天的日期啊好,我们继续往下走,那下面呢,就是分别调用了duplicate点去统计重复值以及now ad.sh去统计值啊,那当然了,呃,这里边呢,需要根据具体的要求传入我们所需的每一个参数。
05:26
啊,那每个参数的含义呢,在这儿都有注释,那所以说我就不再一个一个的给大家解释了,而且这些参数的含义啊,我们在讲之前的呃,单一规则脚本的时候呢,也都介绍过了啊好,那这就是check dwd.sh的全部内容啊,那紧接着我们继续往下看啊,那下面呢,就是dim层的检测脚本。那当然呢,DM层的检测脚本也是根据具体的需求啊,去调用我们上边所编写的单一规则检测脚本啊,然后呢,再根据要求相应的参数啊好,那现在我们把这个脚本的内容一起看一下。
06:00
那首先呢,我们把这个脚本创建出来啊,它的名字呢,叫做check dm.sh诶CTRLC,我们拿过来右键new file,然后ctrl v check dm.sh,然后往下翻,那这个脚本的内容啊,拿过来也比较简单啊,来CTRLV。好,我们一起来看一下啊,那在DM层呢,我们要统计的指标有什么,我们简单看一下啊。我需的呢是当中呢,就需要去调用duplic.sh和no id.SH,然后呢,再根据我们具体的需求传入相应的每个参数啊,那此处呢,我就不再给大家解释每个参数的含义了啊好了,那这就是check dim.SH这个脚本,那至此呢,我们数仓每层的检测脚本就全部完成了,那分别有ods dwd和DM层的检测脚本。
我来说两句