00:00
好,那这个表咱们建完了之后呢,那往这个这一层的这个表里导数据,那咱们那个circle怎么写是不是也是漏的呀,也是漏的,其实跟咱们ods log一样的啊啊不一样的是什么?不一样的是咱们这还用键索引不。导出去之后还用不不用了啊,为啥?因为是不是咱们用S库传上来之后就已经见了左眼了呀,所以这边就更简单了,更简单了,直接漏一下就完事了啊,那这个漏的咱们20多个漏的也没必要一点点写了,我们直接给大家看这个脚本就行了啊,咱们直接看脚本来把这个脚本拿过来。这个脚本呢,相对那个OD log呢,要稍微的啊,稍微复杂一点啊,稍微复杂一点,为什么复杂呀,因为ods层的业务表咱们有啥,是不是有特殊表啊,有特殊表,那特殊在什么地方啊,就有有两张表,我第一次传的时候有过它,后续每天导是不是就没有它了呀,对不对,那所以说那咱们这个思这个脚本写起来呢,我们就需要考虑一个问题了啊来,你看我这脚本怎么写的啊。
01:01
那首先呢,我在这呢,还是声明了一个APP啊,这儿呢声明了一个have啊,那完之后呢,下边是这个变量。啊,时间变量注意观察啊,这个时间变量咱们现在是到几了,又是到二了啊,到是第二个参数,那有到二就说明有谁啊,有到一啊,那个DOLLAR1是干什么用的,咱们往下翻啊,DOLLAR1往下看啊,那一呢是first或者是all,还是一样的道理啊,如果我传的first,那我就是第一次啊导入出导入,那是不是就是所有的表啊,那第二如果传的是all呢?那就是从第二天开始每天重复导的啊,是这样的啊,你看我这个第一天我执行的这个命令是什么?是have杠一,然后呢,CIRCLEQ1 circle2。然后呢,哎,All是什么?是have杠一,然后呢,只有CIRCLEQ1,对不对,你看啊,咱们看一下这个CIRCLEQ1和CIRCLE2到底是个什么东西,来往上翻来4Q1其实就是一大堆的load语句吧,啊,这个不再一点的看了啊,那四科二是什么呢?
02:04
哎,是两个,哎,这面这个罗水鱼这S块其实能看出来这是谁呀,这是是不是就是省份和地区啊对吧?那所以说咱们这最终是怎么做的,如果是第一次,那我就把SQ1SQ1是除省份啊和地区表之外的所有表,对吧?啊,那我就把诶它和它都执行啊,如果是奥的,我就只执行方法一,那这个SQL1SQ2的咱们就不执行了,这是这么去处理的啊OK啊,那这个脚本咱们写完之后,大家也也就应该知道是怎么去使用了啊就第一次用,那我们需要传的就是first,第二次就是off啊OK,那就是这么写啊,CTRLCTRLC拿过来,然后呢,我们shift这个CC啊,在并目录下边咱们再建一个脚本,这个脚本咱们叫做HDFS,然后呢,To to哪to ods应该叫做DB.sh了吧,啊下I把这个整个的脚本粘过来啊,然后shift z z加上这权限。
03:02
HF to ods db.sh好搞定,那搞定之后咱们现在就可以测一下了啊,咱们执行这个脚本点杠,然后后边加什么?呃,O hdfs to ods db.sh那需要传几个答案俩,第一个是first,第二一个是日期2020杠零六杠幺四啊那现在咱们回车。让这个数据呢导到ODI层。咱们稍微等一下啊。嗯。然后大家要注意一个小细节啊,咱们这个漏的操作在H相对是一个剪切的操作,对吧?啊这个任务能重复执行吗。这个脚本,比如说我已经成功了,我现在我还想再跑一次,可以吗?不可以,为啥呀?嗯,之行他会说什么,我是不是就找不到那个文件了呀,对不对,因为它是剪切嘛,剪切你再去找那个文件,我就找不到了啊,他可能肯定会报一个错误的啊来你看直接就报错了,怎么样,Invalid pass,是不是这个路径里边已经没有文件了呀,啊所以你就找不到了,这个大家需要搞清楚啊,是不能重复执行的ods层的任任务,那咱们这都导完了,那这时候我们去抽查一下吧啊,随便抽查两张表啊,比如说找一个OS base category来这个数据是是已经过来了,那这个点一下。
04:18
呃,数据的也过来了,没问题,行,那说明我们这个,呃,Ods层的业务数据的脚本也是没问题的啊好,那我把视频录一下。
我来说两句