00:00
来,那现在呢,我们来看一下啊,这儿有一个来一起看一下啊,这儿有一个这个什么DWD层啊,用户行为数据,哎,加载脚本啊,其实就是DW层呢,咱们这五张日志表的这个数据装载脚本吧,啊,五张表的这个数据装载脚本啊,那这五张表的这个数据,呃,这个装载脚本那家说大家去写的时候呢,我们应该注意哪些事项呢?啊,注意啊,其实这个脚本的这个格式跟刚之前咱们写的那些脚本是不是应该是也是一样的呀,那首先进来之后先搞一个啥,先搞一个时间变量获取前一天日期对不对,这个是不是得搞定啊,完了之后呢,啊,把所有的circle是不是得写到咱们这个呃,字符串里边啊完了写下来之后呢,咱们注意俩地方,那第一个地方是什么,所有的日期替换成到to date那所有的。表明前面是不是得加上库名,那还有一个小细节,什么小细节,咱们这里面是不是用到了自定义函数,这两数咱们是永久函数对吧,永久函数是不是也是属于某一个库啊,所以说你会发现我们这个函数前边。
01:05
Explode前面是不是也有一个库名啊,这个得记得啊,千万别忘了啊,或者说其实大家如果说就是嫌麻烦啊,我不想在每个表明每个函数名前面都去加个库名,太麻烦了,你可以怎么做呀?直接在这个circle最开始写一个啥柚子季帽是不是就行了,哎,那你下边就不用带着库名了啊,是一样的啊好,那这是大家这个需要注意的一些这个普通的事项,然后呢,还有一个比较特殊的就是这。啊,这个咱们是不是得加上这个参数啊,Set have.input.format等于这个东西啊,这个是为了解决咱们那个拉泽罗哎,文件啊,这个索引的问题吧,啊,索引识别的问题,把这个搞清楚啊,啊,这是它,然后下边呢,我们还加了另外一个参数,这个参数应该大家能看懂吧,My produce job q name是不是就是咱们那个队列的名称啊,啊,因为咱们强调过,我们从DWD层开始,那咱们这个数据的装载脚本是不是就会走计算引擎了呀,Ods层直接漏的不走计算引擎,所以不用加队列,那从这开始需要走计算引擎了,那咱们指明队列。
02:12
还有流量。主要是这些啊,主要是这些行,那就是这么多吧,啊,那接下来把这个脚本咱们粘出来。啊,这个脚本其实用起来比较简单啊,它不用区分什么首次和这个,呃,后后边每天重复的对吧,因为它日对于日志来说呢,我比较简单啊,每天就是啊,全部的表都导一下就可以了啊来我们进到编目录啊,把这个脚本的名字咱们命名一下,它应该叫做什么,叫做是不是ods to d WD啊然后后边来个啥呀,log.ic是吧,咱们日志嘛,啊把这个拿过来。行,然后我们shift z z啊再加一个执行权限。啊,Change指mode加X o.S哎,To,哎,这个dwd log.sh啊L好,那刚才我们已经在课下的时候呢,我把那五张表是不是都建出来了呀,回来之后那些那个脚本我就可以执行了啊点杠那DW,呃,OS,然后to dwd.sh这个不用传first或者O对吧,因为每天都是一样的,那就2020杠零几零六杠114就行了啊直接回车,哎,走。
03:23
那呃,没有错误的话呢,那这五张表数据就应该也就又应该能够顺利的导到咱们DWD层啊,咱们等着执行,然后看一下结果。啊,大家做的过程当中呢,一定得保证我们每一层的脚本都是没有任何问题的,必须得测通了才能往下进行啊,为啥呀,因为咱们这个脚本都写完之后,到了后期啊,到后期咱们是不是整个流程开发完,咱们需要把这些脚本交给阿斯卡文调度啊,对不对,你要想最终调度成功,那你必须得保证前面的每一步这个脚本都是准确无误的啊嗯。
04:01
呃,对,这里边儿还有一个小小小点需要给大家注,呃,解释一下,呃,就是说一下,那说哪儿呢,就是这个位置啊。呃,应该是咱们这个脚本当中来就这个位置啊,就这儿啊,呃,这个地方呢,我不知道是,呃,为什么?因为就是咱们前面好多班同学啊,就是直接复制咱们这个脚本啊,然后复制到咱们这个复制咱们的内容,然后创建一个脚本,然后去执行这个脚本的时候呢,他总是会报啊咱们这个circle的第二行,第二行是不是一二,是不是就这啊,然后到第四个字符是不是就这啊来说这个字符不能识别。啊,那这个是怎么导致的,大家说一下啊,这应该呃,而且那个出现这个问题同学都是使用那个啊,就是WPS的同学啊,可能是WTPS,呃,跟这个word呢,它这里边这个编码应该是呃,有区别的啊所以说你你如果说使用的是WPS的话呢,如果遇到类似的问题,那怎么做就可以了呀?啊对,你把这个空格自己删了,然后自己重新敲一下空格啊就好了,能理解吧,啊就是这样的一个问题啊,使用word应该没问题,都是一致的啊啊那刚才这个脚本已经执行完毕了,没有报错,那这个五张表应该都打过来,咱们看一下啊,随便找一张抽查一下DW d displaylo。
05:13
来看一看有没有数据。比较慢啊。嗯。嗯,怎么这么慢呢?我只是贼来的星吧,应该,嗯,我们稍微等一下啊。这边后边有没有报错,也没有报错呀。那这还是说index这个无所谓啊,哎,出来了啊,这个没问题吧,啊应该能查出来,那下边这个alo呢?哎,没问题是吧?啊行,那这日志表咱们到这儿了,就告一段落了啊来录一下视频。
我来说两句