00:00
好,那下面的话,我们就来这个编写一下这个库脚本。啊,也说准备工作都做完了,那写这个脚本呢,这个脚本呢,这个东西比较大哈,来先看一下,看一下长成啥样啊,你看往下走。这是一个脚本。一直这么多。对吧?啊,一直到这,乍一看同学已经晕了是吧?这这么多代码呢,这个我能不能写完呢?啊,当然很能写完哈,我先把它拿过来,那这个东西呢,我给大家拆解一下啊拆解一下,呃,首先呢,这个前面这块呢,是井号叹号B,我相信大家呢,没有问题,对吧?啊然后呢,后面呢,我们要执行的是这个SCO命令。那我这块呢,获取了一个,呃,SCO的一个绝对路径也是SCO,这个是o BT model scu b,然后SCO。这个我相信大家也没问题吧,对吧?啊,这样的话,以后再取的时候,我不需要带着这个绝对路径,你要想带着绝对路径也也没问题,对吧?啊,带着绝对路径,比如说这块用的时候直接绝对路径。
01:04
啊也是可以的哈,那再往下,下面是日期,这个日期要注意哈,因为我们在导数据的时候啊,我们叫T加一的方式导入,什么叫T加一呢?画张图。嗯,拿这张吧,我看这里面有没有啊。这是评论订单。拿到订单表。好,那这是这样的啊,你看我这里面呢,这个订单表里面有3月10号数据,3月11号的数据,对吧?嗯,3月11号,那我就到3月11号吧,我3月11号产生完的数据,我想把它导入到这个书场里面。那我什么时候倒呢?那肯定是3月11号得结束了,我才能把3月11号的所有数据倒过来,大家捋一下。正常情况下呢,我会在这个3月12号凌晨。3月12号。嗯,3月10号凌晨什么呢?凌晨30分的时候,就是00:30的时候,我会统一的把3月11号所有的数据倒过来,并建立一个分区,叫三月11,但是我导入的日期是3月12号,这个不知道大家能不能理解?
02:17
换张图吧,太丑了。我这个买里面存储的是。这里面存储的是3月10号的数据啊,3月11号的数据。那么我把3月11号的数据要往这个as里面导。那边走,那我什么时间去导这个3月11号的数据呢。那肯定是要等3月11号这个时间结束啊,等三月。11结束,一周过完吧,啊结束。那我才能进行一个统计,那你3月11号结束,那一般我们会在这个3月12日啊,3月12日00:30。
03:09
啊,执行导入,那为什么不是3月12号零点呢?不知道大家有没有想过,为什么不是3月10号号零点。因为就怕什么呢,就怕这块。你这是三月,嗯,这个11号11点,嗯,晚上晚上凌晨11:59产生的数据,他这个数据会写入到哪里,会写入到卡卡里面。问题就是3月11号十一十一点五十九分的时候,23点吧,23点好一点是吧?啊23:59的时候,这里面积压了大量数据,比如说来了111G1G数据,那你能不能在一秒钟之内把这里的数据都消费完呢?很显然不能,对不对啊,很显然不能,那不能的话,那你怎么能保证把3月11号所有数据倒过来呢?哎,我有一定的延迟啊。
04:01
我给你30分钟的一个预量。你像30分钟能消费多少数据呢?我后面我会给大家算这个卡帕尔数据量啊,卡瓦最多是每秒啊,这个每秒钟能达到50兆每秒,对吧,咱们之前算过。你每秒钟50兆的数据,那么30分钟你先乘吧,先乘以一个60秒变成一分钟,一分钟之后呢,你再乘以一个30,那这是三分钟,那它等于多少数据呢?你前面50乘以60,相当于是三千三千兆每秒啊,咱们约等于3g 3G的话乘以30,那就等于90G每秒,我一天的数据才是多少啊?我一天的数据量才是100G,对不对,一天的数据量才是100G,那我最后这一秒钟你告诉我会产生90G的数据吗?啊,会产生100G的数据吗?啊,不太可能,即使是前面搞一些活动,如果搞活动我觉得今天数据量比较大。我可以乘以个40对吧,我40分钟的时候再执行,那40分钟直行多少,前面是三四,那就是120G。
05:05
一天我都没有121的数据,我从四零点凌晨40分开始执行,那稳稳的能够搞定。对吧,哎,这就是这个原因哈,所以说我们这个脚本呢,会在这个,呃,3月12号去执行导入三月11的数据,你说这个脚本一执行的时候啊,进来这个date日期是3月12号。但是我倒的却是他。那这块你需要怎么处理呢?看一下这小本,那需要获取啊,Date-D减一,当前日期减一。那这个呢,这么一说可能大家不懂啊,演示一下。Date现在呢是date我这一执行啊,这个3月10号对吧?啊3月10号,那3月10号这样杠T,我如何获取到这个3月9号的数据呢。对吧,我站在3月10号,相当于我是这张图当中,我是站在3月12号,我要去导入前一天的数据,是这样道理吧,那你导前一天的数据,那看啊杠D。
06:14
看到了吗?那我一加上这个减1D,那它就获取的是3月9号的数据。啊对,我这个时间我就变成3月9号了,那其实我后面要倒的就是这个3月9号日期,我得换成3月9号。啊,这块捋一下啊,这个我因为我当前时间是三月3月10号,所以你看起来可能会比较别扭,那这样我要你要看着不别扭的话,你可以这样改一下啊。咱不有DTDT你变成。2020年杠,嗯。零三杠幺二对吧,啊幺二,比如说今天是12号。这样呢,大家可能会理解起来更好一些啊,对的,今天是12号,那我现在呢,就相当于这张图当中,我现在是12号的00:30,我要倒3月11号的数据。
07:10
那正好我现在的日期呢,正好是这个零点啊,零点开始哈,要导导前一天数据,那导前一天数据,那我就要获取前一天日期,那就获取前一天日期呢,就这么获取。对吧,啊,3月11号,但是或许这样哈,那你看你这个日期是这样的。这操作肯定不好弄,因为我们希望呢,日后的这个分区变成这样,2020杠零三杠。幺幺是吧,或许这样的格式,因为你这个格式不好,那博士不好的话,那你就date啊。那我告诉大家吧,啊,直接告诉大家,这个命令呢,是这样的哈,直接加上后面一个叫百分号。加上百分号F,这样就可以截取到哈,截取到哦,记这个date有一个help命令啊。
08:03
他能看出来你某一个参数的一个含义哈,那这里面我直接就告诉你,我用的就是这个呃百分之呃加上百分号这个大F,它就能够把这个这种形式的日期切换成这种,那现在我就达到目的了,我现在是3月12号,我想获取这个日期就变成啊是刚刚还有吧,是老试一下啊。啊果然是啊果然是,那这里面呢,就是你找到的是这个杠大F。啊,它会将你一个完整的日期变换成年月日啊,这种形式的一个拼接,那这样呢,就是我们日后想要的一种啊格式啊,这个浩哥很厉害啊,挺好。啊,这是这一块,那也就是相当于这块脚本的这块日期的一个处理。你说真正开发的时候呢,肯定会把当前的日期把它减一,那这种形式呢,叫T加一的模式,你说计算的时候呢,叫T加一。
09:01
什么叫T加一呢?你想想,因为当前计算的日期是这个啊,就是你计算的数据是三月11的,那我在的时间呢,是3月12号,你说你看T加一,你处理的时间是三月11,我加一正好等于12号,在12号处理。当前T这个时间啊,相当于是一个滞后,它其实是后一天的。滞后一天的对不对,对吧?哎,它是滞后的一个作用啊,如果你要想不滞后的话,那你怎么办,你只能采用后面你们要学的这个实时的,你说slo里面会有实时的,Link里面也会有实时的,那书仓往往书仓都是T加一。啊,属于不是事实的。差一天,嗯,那行,那下面这段话是什么含义呢。这段话呢,是你这个脚本里面输入的参数的第二个参数。那日后呢,这个第二参数是什么,是什么东西呢?请大家看一下,这是未来的脚本,这是传进来的第一个参数啊,这个后面我给大家说啊,别着急,那后面这个参数呢,就是我们传进来的时间对吧?啊,3月10号3月11号。
10:13
那这个第二个参数代表啥意思呢。杠N,它判断你传进来这个参数等不等于空。那如果不等于空的话,它会覆盖你前面这个值。那什么含义呢?如果说哎,我手动传进来的,那就得按照我手动传进来这个值,比如说我传进来的是2020年3月杠十号,那这个do date就会变成3月10号。啊,这个呢,是我们这个手动啊,方便我们去改哈,方便我去改,否则的话,你每天每次呢,你还得用我那个DT啊DTH然后变成这个你想要的日期,那这个相对来说比较麻烦啊,重改成系统时间,那这里面呢就是哎,如果真正开发环境的时候呢,那就是T加一模式啊,用这这样语句就够了。
11:04
那补上下面这一句呢?你看如果你不传这个后面这个参数,那不传参数不就是你上面了吗。那你传进来,那就按我的。啊,相当于优先级这个更高一些哈,那传进来这个do date,那我就直接变成2020年啊,这个什么,这个3月10号就没有添加一模式啊,我出了啥就是啥啊这含义啊,这个是杠N表示判空啊判空的意思哈,行,那就前面这个呢,是时间的相应的一个介绍,你说如何获取这个呃,前一天的日期啊。
我来说两句