00:00
好,那现在我们所有的准备工作诶都准备完成了,完成之后咱们打开这个外部页面,打开它,那这边呢,咱们刷新一下啊好,它还是这个正常的这个运行状态,那现在呢,我们怎么去使用他的卡班,是不是第一步就是创建project呀,点一下。以往。然后点击create product,然后接下来呢,点upload上传我们的zip包。点一下桌面这个鸡毛点Z,然后。嗯,又卡了一下是吧。好,那包我已经选上了,选完之后点一下这个upload上传。好,已经上传了对吧,那上传完之后呢,那这块呢,大家这时候要注意了啊,这个呃,接下来我们正常应该是点这个e flow对不对,那你就点它一下,那点完之后呢,这时候这个系统这个work flow这个流程图其实上已经是给咱们展示出来了,已经展示出来了,而且这个关系呢,呃,应该是没问题的,应该是没问题的,那正常情况下呀,咱们是不是就应该往下走,往下走下边呢,有俩按钮,有一个是schedule,一个是excute。
01:09
对吧,那这俩按钮分别指向什么呢?Schedule呢,指向的是这个定时调度,那excuse呢,指示的指向的是立即立即执行,就是这个执行一次,这个呢是定时调度,那我们生产完下是不是肯定点这个,咱们要给它定时调度起来,那点它schedule,那这里边选的时候呢,那就比较容易了,首先这个time就是什么时候开始跑,你这个任务什么时候开始跑。对吧,那我们通常咱们这个数仓的离线任务呢,通常是在咱们这个零晨这个就是那个00:30以后,通常是在00:30以后开始跑啊,大致是在这个时间段,呃,00:30也是12点半,半夜12点半啊OK,那时区呢,咱们东八区这个不用动,然后下边呢,日期就是说你指定从哪一天开始跑。那下边就是这个是这个频率repeat every什么,这是肯定是咱们,呃离线出仓一天一次嘛,咱们一天一次,呃,可能有些这个公司它那个离线出仓呢,它有可能这个可能数据量它比较大,那可能会怎么办呢?可能会诶几个小时跑一次也是有可能的,也是有可能的啊好,那如果说这些都配完了之后,那点击schedule让定时调度,那就OK了,那就OK了啊就OK了,但是大家想一想。
02:22
你就这样直接schedule的话,那这里边儿你说咱们会不会报错,会报错。肯定是会报错的啊,你这么定时就是定完这配置完这些参数之后,点SC肯定会报错,为什么会报错呢?是因为咱们在这个job文件当中,你看啊,我们在这些所有的job文件当中,是不是都有一个这样的。Dollar dt都Dollar dt是不是都有一个时间对不对,那我们刚才在调度这个work flow的时候,咱们给他传DT了吗。传了吗?并没有传,你没传,但是我们去运行这个任务的时候,他会找这个DT,他找不到就会报错,就报错啊,那也就是我们得去传参,那咱们传参的时候在哪传呢?诶在这啊来点还是点一个flow,然后点看左边,左边这呢有一个flow parameters。
03:12
Flow牌meters呢,就是这个,呃,工作流程的参数,那也是咱们这需要去在这儿传一个传一个,那这里边的ID road就加一行,那参数名呢,就是我们在脚本里边写的DT,那值呢,就是说你想跑哪天呢,你是不是就传哪天就行了,比如说我这儿呢,传一个2020杠零三杠幺幺几零三杠幺二,那这时候它是不是就跑就是3月12号的数据啊对不对,那如果说我要是点这个excu flow excu,那这还还好理解对不对,我点它,那我就跑一个12号的。这个能理解,那问题现在来了,我要是定时调度呢。定时调度,你这怎么处理呢?对不对,那定制调度的话,你肯定不能写死,写死的话,那它获取的就不是前一天的日期了,对不对,那你要不写呢?也就说我没有这个DT,我不要它,那不要它又不行,为什么不行呢?你要不要它的话,那我们这个任务在执行的时候,他会找这个BT这个参数对不对,那找不到它是不是就报错了,那这样一来可就麻烦了。
04:10
那就麻烦了,怎么麻烦了呢?也就是说你现在这个DT啊,你是写也不行,你不写也不行。就是你定时调度的时候写也不行,不写也不行,对不对,那这块咱应该怎么去处理它呢?哎,怎么处理,咱们折中一下,怎么折中在这呢,只写一个DT。值咱们就不写了,就是值什么都不传值,那就是是不是就是一个空的呀,相当于是是不是相当于一个空,那这样一来咱们这么去传的话,那我进行定时调度,我说的是定时啊,那定时调度的时候,首先这个地方这个脚本是不是会找DT,能不能找到,能找到吧,对不对,那它解析DT的时候,那有东西吗?没东西,没东西是不是就是空的,那空的我传到这个脚本之后,那它里边是不是会进行判断啊,如果说诶这个日期这个第一个参数是空,是空的话,那我是不是还是获取前一天的日期啊。
05:00
对不对,那咱们就这么去处理就行了,那这就是咱们这边,呃,这个一个折中的一个处理方式,这是咱们定时调度啊,那你要是立即执行,那就容易立时执行,你就跑哪天你就写哪天就行,那2020杠零三杠1003杠这个幺二啊,我们应该跑12号的数据,那也就是说咱们如果说我那个ADS层的表如果说都建完了。都完事了,那现在呢,我其实就可以去点这个CU了,那这时候呢,就让他去这个进行调度就可以了,让他调度就行了啊,那假如说我现在呢,我就点它一下,那这个任务就开始跑了。跑,那让他跑着,我们等等着看结果就可以了。这就是咱们整个的这个诶定时调度,这是咱们这的整整个定时调度啊,这块大家要注意行,那现在因为我A台层的表还没建,所以我现在没法没法点这个啊,等我一会点完那个建完之后呢,我再去我再去执行,我再去执行啊,那我现在把这个取消一下,视频录一下啊。
我来说两句