00:00
呃,P官网上呢,给我们提供了两个客户端,一个客户端呢,是他这个,呃,命令行的客户端,呃,还有一个呢,是一个可视化的一个web应用,这web应用呢,就是说我们启动之后也是底层能对接press,然后我们先可以在外部页面上去写circle,其实就是这样的一个东西啊,那现在我们先把这个命令行客户端去装一下,然后看看这里边呢,呃,咱们。你就说应该怎么去用它。它的客户端呢,下载的地方是在这儿这个位置啊呃,这是它的下载地址,那完了之后你下载下来,其实就是一个普通的一个炸包。其实说它是一个普通的炸包啊,还还不还不对,它不是一个普通的炸包。它是一个什么样的炸包呢?它是一个这个一个可执行的一个炸包,可执行的炸包啊,那这个呃呃,大家可以看一看,咱们这个炸包是怎么去用的啊,你往下走往下走。呃,拿下来之后呢,这边首先第一步啊,呃,让我们去给这个炸包改个名字,这个当然你改不改都行,你不改也行啊,不改也行,他这边改成一个什么呢?改成一个p cri了,改成它了,那改完它之后,你看他能干什么,他能对这个这个这个炸包,你看啊,能对这个炸包加执行权限。
01:07
看到没有对他加值权限玩,加入执行权限之后呢,就像一个什么用了,是不是就像一个脚本去使用了呀,直接调用它,然后给它传参。一个穿插,那这样一来,也就是说它就是我们这个press的客户端了。是这样的一个东西啊,但是这个东西它是怎么去做的呢?其实这样的啊,呃,这个这个炸包我们正常应该怎么去执行它啊,是不是咱可以诶这个如果是一个可执行的炸包,咱是不是应该是在linus里边,咱们可以这个Java杠这啊对不对,Java杠这然后加上那个JA包,那我们就不需要给他传那个那个全列名了,不要全联名啊,然后后边呢,我们就正常的给他传传参就行,比如说这个呢,就是咱们那个炸包里边闷方法的参数,你给他正常传就行,正常传就行,这是我们一个普通的炸包的执行方式,对不对,那咱们price这边呢,他对对这个炸包做了一件事啊,做一件什么事呢,大家应该都知道啊,就这个所谓的炸包呢,其实它底层是什么呀。其实实际上它它是一是一个什么,实际上是一个zip包,它实际上是一个zip包啊,然后这个pre呢,它的官网上是怎么解释的呢?它往这个炸包里边呢,它相当于给他又给他压进去了一个这样的一个类似于一个脚本的这样一个东西。
02:14
类类似一个这样的东西,然后呢,那个里边的内容基本上就什么呢,内容基本上就是这个,诶Java杠杆。加杠,那就差不多有个这个东西,也就是这个命令呢,实际上他给你也放到这个账包里边去了,那你给他加上执行权限之后呢,实际上相当于执行了这个命令,然后把这个账包传给自己这个命令了,然后他就执行了,实际上其实是这样的一个东西啊,这样一个东西,那这个东西咱们呃,如果感兴趣的话呢,可以去官网上去看一看,呃,然后如果那个不感兴趣,我们就直接能正常用就行了,官网上诶都有详细的说明,好,那当然你这个炸包你也可以不这么用,你也可以怎么样,就把它当一个普通炸包使用加油杠盖去执行,也没有任何问题,对吧,那现在我就去测试一下。好,我就不按照文档上这么去做了,不加帧选项了,我就直接扎杠这这么去使用给大家看一下啊,那客户端在哪放着OPT software presal,然后呢,在这个位置,这是咱那个包,那我现在啊就直接Java,然后杠这,然后presal c,当然呢,后边你需要去给它传上这个文们方法需要的一些参数。
03:18
CTRLC,然后呢,放到咱们这个地方来,我给大家解释一下咱们传的这几个参都是什么啊,来看一下这个位置。看这个位置,那这边呢,有一个这个杠杠server server呢,这个你要注意它指向的是哪,指向的是咱们的这个那个coordinator coator,咱们是海10248881,那后边呢,Catalog是什么?指的是你要对接的数据源,我们对接的是have,那后边呢,有一个杠杠SMA schema是什么,Schema呢是咱们那个database。This啊,就说你你就是是不是进到客户端之后,诶默认得有一个啊,默认是这个default是这样的啊,那现在咱们这个回车走。
04:00
OK,那现在我们就进入到了咱们的这个的这个default了,对不对,咱们就进来了,而且默认是不是default库啊,那这时候呢,我们其实进来之后剩下的事,嗯,那那就跟press都没没什么关系,是不是就写circle了对不对,那我们have当中怎么写,这边你就怎么写,那show一下这个,呃,比如说show一个database。查看一下这个数据库回车,诶这个你还真不还真不能这么写,为什么呢?因为在普当中呢,我们的数据结构是什么?是schema加table的格式吧,是没有database这个概念的,对吧?所以说得怎么办?得受chema,受s ch em MAS回托。诶,你看现在呢,是不是就出来了咱们这样的几个这个,诶这个类似那个数据库那个东西啊,里边有default库,有这个机贸,对吧,有这些东西,好,那这个下边这个呢,是这个呃,Press,它自带的一个这个库啊,所以说咱们就不看它了,好那现在呢,我们去use一下这个g mail use机,然后回车,好那我们执行一下这个show tables。
05:05
回车。好,那他这个售推S之后,大家要注意啊,他这个price这个客户端呢,呃,就是他跟我们这have其实不太一样的,跟have是不太一样的啊,我们have就是说如果说你查数据的时候,你不加limit,如果说你不加limit,那OK,它会怎么样,它是不是会直接把所有的结果全部一下给你打印出来呀。一下打印出来,甭管有多少数据全部打印出来,那press它不是这样的,Press这边呢,就是相当于怎么样,你查完之后呢,他这样呢,给你相当于相当于是有一个有一个这个数据通道,有数据通道,也就它只给你显示一部分,当你往下翻页的时候按下。你看它这有一个什么,有一个冒号,其实这个东西这个界面呢,有点类似于,诶我们那个冒,或者是那个lesss这个工具,就是看文本的工具啊冒这应个大家都知道吧,你是不按上下是可以呃翻行,然后按按这个回车是可以翻行,然后按这个呃空格是不是可以翻页啊对不对,其实有一个这样一个通道,就是你翻到哪,它给你加载到哪,然后等你翻到最底下的时候呢,会有一个这样的一个end。
06:08
诶摁的啊,那这个摁就是说说结束了,那现在呢,如果说你再想写circle狗,你这么直接写,写不了,写不了怎么办呢?你得摁一下Q,摁一下退出,那才能诶退出来才能退出来啊是这样的,那如果说在你这个插完之后,如果说你没有这个加载完,然后摁一下Q,那这时候呢,诶它它也是能这个能能够这个退出的,也是能够退出的啊,这是咱们这边的这样的一个这个客户端的一个使用,那剩下的对跟咱们那个ma和lights是一样的啊,基本上是一样的东西,基本上是一样的啊。好,那现在我们来使一个什么东西呢?使用一个这个写一个circle,咱们写一个circle啊,咱们查一个,查一个数据吧,那s select星,那from,比如说ADS,咱们来user。那我会说。啊。诶,你看这个数据是不是就给咱们反回出来了呀,反回出来了,这是我们ad层的一个结果,那其实使用大致就是这样的,那接下来呢,我们再做一个测试,再做一个测试啊做一个什么测试呢?我们去做一个这样的一个测试,我们SE。
07:12
因为什么?因为大家要注意我们ADS层的表是不是就是明文就是存的没有进行压缩,没有进行列式存储,对不对,那个肯定能查出来,那如果说我这个,呃,表里面如果说我进行了这个列存储了,我进行了压缩了,我这边我还能不能查呢?是不是咱们来测一下,咱们测一下啊,比如说我select星from,咱们来一个DWD。大家要注意咱这张表啊,这张表咱们对它进行的什么,还还记得吗?DWD的表咱们都是什么,是不是都是这个劣势存储,它加上那个拉唑压缩呀,对不对,拉唑压缩,那你说我现在我再查看能不能查出来啊回车走。诶,这时候他报错了,报错了,报什么错了呀,他说这个诶读不了咱们这个诶文件对不对,是不是读不了咱这个表里边的文件啊DWD2LOG,这是为什么呢?诶因为啊,咱们现在是不是采用拉压缩了,那拉压缩我们这个press是不是得有拉罗压缩那个炸包才行啊对,它没有那个包,所以说解压不了,那这时候我们得怎么办呢?得去把那个包给他拿过来,好,那现在呢,我们去解决一下这个拉住罗的问题啊,Quick退出。
08:22
好。那退出之后呢,我们关键是。诶,CD到o BT module pre,我们关键问题是什么呢?诶同学可能他不知道把这个炸包放哪。有的户想了,不就是Li里吗?诶这回你还真放到Li还真不行,我们这回放在这呢是不生效的,我们得放到哪呢?要求我们去放到这个plugins里,这个里,这个里边插件plugin,那进到这里边之后呢,我们看它里边有什么东西啊,这里边实际上是咱们pre支持的所有的数据源,每个数据源有一个自己对应的路径,你看有什么有咱们熟悉的啊,有比如说有卡不卡的。有什么有咱们刚才自己对接的那个have海二的对不对啊,还有什么,还有可可以买circle mango DB哎等等等,这是他能对接的一些数据源,那我们给哪个数据源配东西,那我就需要配在对应的这个路径里边,那咱现在是不是给have海多二去配的呀,那CK到这里边。
09:18
那我们就需要啊,在这里边去加上咱们那个拉泽罗的炸包,在这里炸啊,在这里加,在这里加,那那个炸包在哪放着呢,是不是应该在OPT module海杜op。对吧,应该在哪share这个海common里边吧,有一个海布拉罗。有个这样插包对吧,咱们点杠CP到这好,那现在呢,我们给他分发一下啊,三台都得有,呃,这个海杜,然后这个拉泽罗,呃,这个回车。分发一下好,那分发完毕之后呢?那现在我们干什么,分完之后干什么,现在我们是不是就得把这个price得重启一下才行啊。得重启一下,因为你这个炸包呢,只在它启动的时候会加载,那启动完之后你给它往里扔一个,它是不会加载的,那所以只在现在呢,还得重启一下,那重启那我还是用这个X脚本,然后执行OD Mo,然后这个,然后来一个这个。
10:12
那停就是stop,回城。OK,那已经停掉了,那停掉完之后呢,再给他,呃,查一下进程,看有没有真的停了啊啊已经停掉了,那现在给它启动起来,呃,Stt start好。嗯,好,已经这个成功的启动了,启动完之后呢,我们回到这个,呃,刚才的这个这个路径回车。诶,这在这不对啊,应该在software里,然后。然后咱还是需要用这个东西去,呃去启动一下去去启动一下啊,那这边呢,呃,我们还是Java杠这然后pres,呃cri,然后接下来呢,后边去传参,传参还是传这一堆就行了,复制。然后呢,拿到这个位置,然后咱们回车走。
11:01
嗯。好,那现在就进到了这个这个位置,那现在呢,我们再去查一下啊,那来一个这个use g ma回车。OK,那这时候呢,他报错了,报什么错了呢?他说这个cluster is still,这个呃,这个initial就是正在初始化对吧,也就还没有启动成功,这时候你遇到这个问题,你没有别的办法,等一会就行了,等会那现在呢再试一下。哎,这这这就OK了,现在启动成功了,因为咱们刚启动嘛,刚才好启动成功之后呢,那接下来呢,咱们去查一下刚才那张表,SD select星from dwd,然后呢,来一个start log s下线log,然后咱们回车走。这回你看能不能查。嗯,你看这次我们就能查这个数据了,这次我们就能查了啊,这就是咱们那个拉兹罗的问题,那这时候呢,你就摁上下,摁上下那这个数据比较多比较多,我中途退出按Q,那这时候呢,他会报一个这样的一个错误啊这个诶断开的管道,断开管道是因为我们这个数据呢,没有没有看完,你要看完之后再退呢,它就不会出这个问题了啊行,这个大家忽略就行,好,那现在我们这个能查,然后我们再来测试一下,我们这边呢,还有一个表。
12:17
然后有一个ods。Start log。大家还记得ods层我们的数据是怎么处理的吗?Ods层咱们的数据呢,只做了这个拉泽罗压缩对不对,没有做其他的处理对不对,也就这个文件它是什么格式的,它是拉泽罗格式的,拉罗格式的,那现在呢,我们来这个回车看能不能查出来回车走。诶,你发现这边呢,他查不了。那有同学可能会想,我明明已经有有拉格勒炸包了,那为什么我查不了拉格的文件呢?这是因为这个我们的PAL呢,目前它是,诶,这个不支持直接读取拉泽罗文件的。不能直接读取拉塞罗文件。
13:01
因为什么呢?因为你读拉泽罗文件,你用的那个input format应该是什么呀?因该是什么,是不是应该是拉泽罗的这个input format呀,对不对,那你要去读取谁那读取刚才咱们那个那个什么那个帕qui,咱们那个DWD是帕加拉德罗呀,为什么它就能读呢?C,因为诶帕加拉罗这种文件呢,它的格式什么是拉罗吗?不是它是帕格式。那我们这个press呢,是能够读取这个pack格式的,是这样的,那这个大家就记住有这么一个事儿就行了,也就是咱们的,诶这个诶谁呀,我的press呢,是不能直接读取拉泽罗文件的,要想让它支持怎么办?你得去改的源码,改完之后你得自己去编译。这才行啊,是这样,大家把这个记住就行了,呃,但是其实际上它其实也不影响我们使用,为什么你要知道press是干什么用的,是不是做机器查询的呀,那我们查数据啊,我们一般去哪查,是不是至少也要去从DWD查呀,DWD,然后或者是从DWS或者从DWD,至少也要从DWD开始,那一般是不会去ods原始层去查数据的。
14:06
是这样,所以说这边通常也不会影响我们使用,也不影响我们使用啊好,那这就是我们使用这个pre的时候呢,关于这个压缩这个事儿,就是它不能读取拉泽罗。不能读拉格,把这个记住,把这记住就行了啊好了,那现在这个东西咱们退出。好,我把视频录一下啊。
我来说两句