00:00
好,那各位同学,那接下来我们补充一点知识点啊,呃,补充的是什么?就是呃,这个pre对拉泽罗压缩的一个支持程度的一个说明啊,那现在呢,我们还是进入到刚才的那个pro的客户端啊,咱们进去一下,哎,我CD到刚才的路径CD盖。呃,OK,那完了之后呢,我再去重新执行我们刚才的那个呃命令,应该是1011对吧,1011来,那现在我是不是又进入到普的客户端了,对吧?我还是柚子JA啊,然后大家注意观察啊,我们回忆一下数据仓库当中,那咱们的表啊,咱的表它的数据的存储类型都有,都有哪几种,我们从第一层开始ods层,Ods是什么类型,是纯拉压缩对吧?那从DWD层到DWT层,那咱们都是什么?都是跑列存储加上拉斯压缩,没错吧,那ADS呢?ADS层其实没有没有列主页,没有压缩对吧,就是普通的文本文件对不对,那刚才我们是不是查了一个ADS层的表,这个没有任何问题,能查对吧?好,那接下来呢,我们再查一个part quit加拉斯罗压缩的一个这样的一个文件啊,咱们试一下,比如说我写like。
01:08
然后氢,然后from表应该是DWD层的这个start log对吧?来咱们查一下这个表是不是盘的列存储加拉压缩呀,对吧,你要注意观察,那现在是报错了呀,对吧,查不出来,那查报错之后,你说我们理论严格干啥?报错之后怎么办?看日志吧,对吧?去哪看日志啊,刚才不是告诉大家了吗?是在那个VR,呃,那个date下面对吧?呃,在date下面啊,咱们去找一下,那找到这个date,这是在哪呢?这是在这个op model呃,Software里边对吧们进到model进到啊我们进到哪进到date路径,Date里边是不是有一个VR,那VR里边呢,是不是有一个log,哎,那这里边呢,我们看谁,我们就看这个s log,那当然呢,我们通常情况下是不是看它最后多少方就行了,跳杠500,然后呢,这个呃S走来,大家注意观察,你看这里是报错就很明显,是不是可拉斯not放的对吧?哪个位找不到,哎,是不是拉塞罗,呃压缩和解压缩的这个类似是找不到的,对吧?啊那这个找不到,这不很其实很正常,其很正常啊,因为什么啊,因为拉塞罗呢?哎,这个压缩格式它并不是hiop原生支识的,对吧?那嗨豆要想使用拉斯罗,我们是不是还给它往里边放一个炸包才能用,对不对?那对于普来说同样也得放啊。
02:24
好,那也就是咱现在这个问题,就已经这个定位定位定定定位到了,那接下来咱们看一下怎么去解决这个问题,那其实说白了就是放一个炸包的事儿,对不对,那放在哪关键是放在哪啊。那我们放哪,我们去看一下,进到OT model这个来放哪,但数应该放哪,哎对,大家都肯定都会说放在这个里边对吧,但其实放里边是不对的啊,放里边不行,得放哪呢?得放到这个拉,里边是不是插件啊对吧?那插件你看看都有啥,里边是不是有很多的这个路径对不对,那每个路径其实对应的就是一个什么呀。每个路径对应的就是一个connector,能理解吧,比如说这个have杠,这里边放的就是啥,是不是就是放的就是我对接have数据源所需要用到的依赖啊,对吧,是这样的啊,那在比如说不卡,那这时候就是对接卡不卡需要用到的依赖啊,是样的啊,那我们现在用的是它,那所以说我应该把谁把那个炸牌数放在这个路径下面,对吧?我们进到海五杠海多尔啊,进来之后呢,那我们需要拿到所学的那个炸包,那个炸包在哪放着。
03:26
股明是当初放到了OPT module,呃这个呃,Hioop里边对吧,Hi豆op里边咱放到了share,呃,Hioop common里面的,对吧,里边有一个hi loop拉组是不是就这个Java对吧?那咱们把它给它CP到当前路径拷贝过来,那当然拷虑过来之后咱们就要干啥,是不是要分发三台节身是不是都得有啊对吧,来分发一下,好分发那问一下大家,你说我分发完了之后,我现在去查询能不能查出来,肯定不能,你得干啥呀,是不是得重启一下这个PRO42对吧,一定要重启啊,那重启的话呢,我还是用我这个呃群体脚本去洗呃去去去重启就可以了,来我们找到S,找到op Mo press,来一个B,来一个ter,这是不是得先停后期对吧,先stop。
04:12
好,那玩之后呢,我们再来一个star呢,T没问题对吧啊。OK,那已经骑进来了,那切进来之后呢,我们再进入到这个的客户端,那然后我回车。来进来了,进来之后咱们是不是用这个JA帽这个库啊,对吧,有的摘帽。稍等一下啊。诶,然后大家来看一下,他这是不是报了一个错误啊,什么呀,是不是超时了呀,对吧,什么意思?呃,可能是我们这个集群呢,目前还没有提起来,然后大家来再来看,又又又变了一个错误,对吧,说什么clu is still initializing,对吧,是不是正在初始化呀,对吧,他说现在没有充足的这个活跃的worker,那就等一会就行了,等会就行啊,现在还不行,还是不行,那咱们就多等一会儿啊,等一会儿就行,还没洗下来。
05:00
太棒了啊。呃,稍微等会儿,因为它启动的过程呢,需要一个这个需要需要时间啊啊,那现在应该是OK了啊,那现在是不是能够右的这个J猫来对吧,那接下来呢,我们再尝试着从DWD层的表里查一下数据,看这次能不能查出来。来看这这样行不行啊。OK,大家注意观察,现在是不是咱们已经从这个DWD层的数据查出来的,呃,DW表表里查出来了,对吧?那能从DWD层查,那我是不是也能从DNF层长也能从DWSDMT增查,对吧?啊,是这样的,OK,好,那这个数据类型我们就没问题了,那紧接着我们再继续啊,那咱们书仓里边还有一个数据类型就是OD sod,是不是纯拉斯压缩呀,对吧?那现在我再查一下SSE星from ods。你注意观察,是不是还是查不了,还是查不了,但是这回呢,报的错跟刚才报的错是不是也不太一样了呀,对不对,那这个问题怎么解决了,这个问题呢,我们呃,就不是那么的好解决了啊,是这样的啊,那实际上呢,网上呢,是有一个帖子的,我们大家可以去看一下啊来我们直接搜一下这个,呃,Sto,呃,Sto,然后呢,R do拉罗。
06:13
好,那在这里边呢,我们找到这有一个美团的帖子啊,咱们去看一下,那这里边我们就搜就行了,来往下走,搜拉德罗啊搜拉德罗LZ哦,大家来看一下,看这个位置。他是什么呀?他说普S呢,是不支持查询拉泽罗压缩的数据,那咱们ods层的数据是不是就是纯拉罗压缩的数据,所以它是查不了的啊,这个你要想让他查,你得去干啥?需要修改hi杜op拉斯罗的源码,注意啊,这个嗨度拉斯罗大家还记得吧?就是咱们使用那个拉斯罗炸包是怎么来的,那个炸包是不是就是由嗨杜拉斯罗这个小项目编译而来的呀,对吧?嗨杜拉斯罗这小项目是谁开源的?还记得吗?是推特开源的对吧。这个想不起来了,布拉,它指的是这个啊,咱们去搜一下啊豆,然后杠RZRZ,呃,应该是在get hard上边啊,咱们去搜一下。
07:11
Get HUB赫尔曼。那其实就是这个。啊,也就是说我们要做的工作是什么呢?你要想让S去支持这个,呃,拉斯拉缩啊,那你就得怎么办呢?诶就得去改一下,诶这个这个小小项目的这个源码,那改完之后呢,得干啥?是不是得重新打包啊,重新编译,重新打包,然后呢,得到一个新的hi杜拉的大包,那码之后呢才能去使用,是这样的,所以这个处理起来相对来说就比较麻烦了啊那当然这块呢,怎么去改,我们其实也可以呃参考一下这个美团,他是不是已经把它改完的东西都放到了这个get的仓库上来,对吧?其实咱们可以参考一下啊,但是呢,其实对于我们这个来说啊,我们读不了OS和数据,这个对咱们有影响啊,其实它是没有影响的,对吧,因为你想啊,Price它干什么用的,是不是做极器查询用的,是不是做分析用的,对吧,那ods的数据呢,我们前面提到了,说是里边有敏感数据,是不是还有这个这个脏数据啊,对吧?所以通常情况下我们做查询是不需要从ods层读的啊,那所以说诶这个即便读不了这个拉多罗压缩的数据,对于我们来。
08:15
也没有影响这个大家理解一下就行了啊好了,那这个呢,就是呃,对于拉罗的一个支持的说明啊,它支持的不是那么的完美啊,来我把视频停一下。
我来说两句