00:00
好,我们来看一下啊呃,大家认真听啊呃,那接下来咱们要讲一个东西,那其实正常来说,你要按照文档内容,咱们到现在基本上把这个呃操作的部分都讲完了,对吧?啊,那这里边我们必须得给大家说一下这个拉呃这个preo啊,大家在使用过程当中的这个一个注意事项啊,这个注意项主要是关于谁的呢?主要是关于拉泽罗这个压缩格式。啊,主要是关于拉罗这个压缩格式啊呃,这个压缩格式怎么怎么去讲啊,我先给大家先演示一下这个效果吧,啊,我们现在先进到咱们那个的客户端。进到press客户端,那咱们找到那个启动客户端那个命令啊,这是不是price那个客户端的这个启动命令啊,那咱们进来进来之后呢,右击贸。那上去给我们演示是不是这个查数据是不是没有任何问题啊,对吧?啊,那现在再给大家演示一下S。They like and星from哪张表的?随便来一个DW层的。
01:02
没错。你就发现他就报错了,对吧,那刚才为什么我们查ADS层我能查。ADS为什么能查?因为adi层没有任何的数据格式文本文件,对吧,Adi但是没有压缩,没有列存储对不对,那这边我们DWT层是什么格式。是列尔存储帕贵加拉多压缩,那这边是不是就报错了呀,对吧,它读不了了,这个读不了,这在这主要是因为什么呢。帕quit那个它是支持的啊,就是那个press读帕qui的文件是原声就支持,但是谁不支持的,拉泽罗不支持,那他是不是要想读咱们那个文件得解压才行啊,他这没有相关的这个依赖解压不了,那所以这边他就读不了,那怎么办呀,是不是给他把这个依赖放进来呀,对吧,依赖放到哪,大家得记住啊,这是在pre的,我们进到obt module啊,Pre。这是price的根目录对吧?咱们依赖放哪儿啊?
02:00
放哪儿?可能会同学会想放在Li里对吧,但是Le不行,得放哪呢?得放到plugin里边啊,我们打开这个plan,看这里边是啥,这是插件对吧?你看一下这里边是不是有这么多路径,这其是里边每个路径对应对应的是一个什么。数据源。啊,你比如说我对接have,那have所有的依赖我是不是都在这个里边。对吧,我对卡不卡卡不卡,所有依赖说都在这里边啊,对不对,它对接的数据源都在对应的目录里边,那咱们现在需要咱们对接的是谁?对接的是have对吧?那所以说我们应该把海度把把那个海度拉子罗那个依赖是不是得放到这个路径下边啊,大家得记住啊,放在拉in里边对应的这个呃目录里边就可以了,那来我们放到汉有孩子班里进来,进来之后呢,这里边是呃自带的一些依赖,那当然我们现在还需要谁,还需要那个拉泽罗的依赖对不对,那拉泽依赖咱们直接放哪了。拿了我现在是之前咱们在那个海杜的common目录里边放了一个对吧,那咱们直接把那个拿过来就行啊,CPCP一下拷贝啊拷贝拷贝OBD啊Mo。
03:08
海豆,海豆里边呢,有一个有什么来着,Share吧。应该是有一个common呃赛呃海杜海杜op common啊这个路径下啊,这个路径呢,之前呃是我们呃这个存放那个海杜布拉斯罗那个炸包的路径啊,那这里边呢,我们就有一个海杜拉斯罗,是不是有这个炸包,那我们需要将这个炸,大家还记得这个炸包怎么来的不?还记得不忘了是吧?这个炸包是不是我们要想给海多配置拉泽罗是不是得自己去编译的一个炸包啊?还记得吧?还记得怎么给海子我配置拉拉压缩吗?忘了啊,这是我们在采集项目的时候给大家就做过的一步啊,给海度吧,配置拉德罗压缩,这是在采集项目当中做的一步啊,那当时是我们需要去get harm上边拉取海多拉德罗这个组件的一个源码啊下载,下载下来之后需要干什么呀?是不是需要进进行自己编译啊,对吧?编译完之后你会得到一个这样的炸包,那这个炸包呢?啊,里边包含了拉泽罗的这个依赖啊,以及那个什么本地库啊等等这些东西。
04:12
啊,那我们要想给海杜普配置拉缩拉缩,那我们需要把这个包放在哪儿,是放到海杜普的这个路径下呀,当时这是我们自己放的啊,这是咱们自己往里边放的啊,然后现在咱错了啊,然后现在我们需要给pres也得配上这个依赖才行啊,那咱们就还直接拿这个包就行啊,把这个包然后呢,放到当前的这个路径下就行,第二个啊,那已经放到了这里边来了啊注意大家得知道啊,咱们这个包啊在哪儿,然后呢,放到什么地方啊,但大家一会去做的时候呢,可以从这个路径找这个包。啊,可以把这个记一下啊,文档上没有这部分内容啊,然后呃,放到哪呢?放到price的这个路径下啊,记住就行了,那当然咱们三台节点是不是都得有这个,都有这个包啊,那我们需要给他分发一下啊,分发一下海杜吧,拉子罗走。
05:00
好,分发啊,那分发完毕之后呢,那现在我们这个price需要做需要做什么事呢?是不是重新启动啊,得重新启动啊,你不重启,那这个大牌它会重新加载吗?不会的啊,那所以咱们现在需要重启pre,那重启呢,咱们需要用虚拟脚本OB mole pre longter,那停怎么停啊,Stop,那你说。好,已经停了,那接下来呢,我们再给它提起来。啊,那停起来起起来之后呢,我们现在呢,再回到刚才的那个路径啊COPT,然后呢,Software啊进到presal。好,那现在呢,我们在使用刚才那个在启动命令,是不是再把客户端提起来呀,来执行一个history啊,找到我刚才的启动命令。那是不是就是他来复制。然后呢,我们回转启动客户端啊,那现在我们执行业务机吗?走哎,你会发现他报错了啊呃,这个报错是咋回事啊。
06:00
看呢看其实人都告诉你了,对吧?啊为啥呀,这是说集群正在初始化啊,现在这个没有足够的worker啊,去跑你这个那个去执行查询对吧,我再等会儿呗,那等会就行了,一会重启了吧,对吧?哎。现在就可以了,可以之后我们现在再去尝试执行一下刚才那个circle select星from dwd log走。哎,你看那次好像就可以了吧,数据是不是就查出来了,那现在就能够解决这个拉斯罗压缩的问题了啊,那我现在摁一下Q退出啊啊,那退出之后呢,在这报了一个一个小错误,是什么断开了管道,但其实并不是报错啊,这不用报错,这是怎么怎么回事呢?前面咱们讲过啊。那咱们price它不是不是一次性把你全部的数据都拿过来的,对吧?啊,他会呃一段一段的去拿,那这边呢,因为咱们这张表的数据量要比刚才咱们查那那张表啊要大,对吧,刚才咱们查的ADS层是不是就只有几十条数据啊,对吧?那这个数据量大,那所以这个呢,呃,他只拉取了一部分,然后后边还没有拉取,然后这边你就给他断了,那它会有一个这样的提示,那这个无所谓啊,这个是不是错误啊,行,那这个完之后呢,我们再来测一下我们这个数仓当中,这个表的这个数据类型一共有三种,一个是ods层的拉泽罗。
07:16
单纯的拉斯罗对吧,那一个是DWDDWSDWT的塔馈的加拉斯罗,一个是ADS层的文度文件对吧,那现在我们是拉那个ods层还没测呀,咱们测下ods啊,在星那from odslo,比如说。还是不行,还是读不了,这个读不了的话呢,这是咋回事啊。这块呢,其实网上有相关说明给大家说一下啊,这个呢,是因为咱们psal呢,目前。是不支持直接读取拉斯罗文件的啊,因为ods层咱是不是单纯的拉斯罗呀,对不对,是单纯拉拉斯罗文件,这个是不支持读取的啊,咱们是读不了的,你要想让他读支持读取,那我们需要怎么做呀,需要去修改海杜普拉泽罗啊,就是咱们之前是不是编译拉啦啦啦斯罗炸包,咱们从那个get harm上不是下载源码啊,对吧,你需要改那个源码,改那个源码呢,重新编译海德布拉泽罗。
08:14
然后呢,才能支持啊,才能支持啊,这个网上得有相关的教程啊,当然咱们这没必要去做,为什么呀,因为咱你得知道它是干什么用的,他是做数据分析的呀,那分析的话,我们会让他直接去读取ods层的数据吗?那肯定不会呀,对吧,我们肯定分析是哪是不是DWD以后的呀,对吧,所以说这边呢,倒也不影响咱们的使用啊,大家知道pre呢,它现在有这样的一个特点就行了,就是默认情况下呢,是不支持直接读取拉兹罗这个文件的啊,好把它记住就行了,但是帕奎的加拉兹罗能不能读啊,这个是可以的啊,行把记住就行啊,这就是关于咱们这个拉德罗的这个文件的一个说明啊,好录一下视频。
我来说两句