00:00
我们顺便看一下flink怎么来结合have catalog使用,那么前面我们再介绍到了有一个是不是叫蝴Di catalog,它可以使用的metato服务,对不对啊,那你看它需要配一个hi的配置路径啊。也就是它的配置文件路径在哪里,其实还是用的have原数据服务啊,这个东西还是用的have的原数据库啊,那其实这个是0.12版本提供的,那如果早于这个版本,或者你不想用这个,其实你直接用hi catalog也是可以的啊,那have catalog呢?呃,就需要我们指定type为have,然后呢,默认的库名have的配置文件夹啊哈豆配置文件夹这个可写可不写啊,啊只要环境变量能找到就行,但是这个是必须的啊,这个是必须的。好,那如果你在flink中想用hi catalog,你必须先上传的一个connectine,那这个connect我是给你们准备好了,而且是经过我的处理解决了依赖冲突的,那么如果大家没有的话,我教你怎么做啊,啊比如说我们打开flink的官网。
01:16
哎,然后下载先。啊,不是不不不不不。是文档对吧?啊,文档说错了啊,不要下载啊,然后我切换到一三版本,你要找到对应版本之后呢,找connect,找table API connect找到什么呢?这里是不是有个hi啊,我们先总览一下啊,在这个地方呢,它提供了各个版本的下载,其中有一个是什么3.1.2的,那咱们就下这个呗,啊下这个呗,好了,直接点击什么呢下载。啊,我的迅雷会弹出来,但是大家发现没有,它默认是scla2.11啊SC2.1,所以呢,咱们要编辑一下,呃,怎么编辑来着。
02:07
就是他的一个路径啊嗯。要改成2.12的啊。2.12,哎呀,让我改一下嘛,这个怎么改啊,算了,我点立即下载,然后暂停,然后呢,呃,复制下载链接啊,那么大家一起来看一下啊。这个地方要改哪个地方呢?首先是这里啊,改成2.12,后面这个呢,改成2.12好。这个就是下载路径了,诶拷贝啊,那么大家看一下啊,这边GALA改成2.12,后面改成2.12,那这个就是一个正常的包了,我下载到桌面教大家怎么弄啊。我重新下载。
03:04
嗯。我给到大家是处理过的啊,你要是不处理的话,这个hi3.12里面携带的依代官瓦版本好像是一九的还是117我忘了,那我们哈杜是二期的flink应该也是二几的啊,就这个时候你一放进去就会出现各种依赖问题了,什么class no found就很烦啊,那我这个方式是最简单粗暴啊,也不用什么改源码,用shift插件。呃,去调整全类名都不用啊,按我这招全搞定啊。这也是很多人在平时跟hi集成的时候老是遇到的问题啊,那其实用我这一招就行。
04:04
好,告诉你怎么做啊,这个是不是那个连接器呢,右键啊,用压缩软件打开。打开之后,这是不是有个com文件夹,诶点这里是不是有谷歌文件夹,没错,右键。删除啊,我顺便把这个截一个图啊。好。右键删除。把谷歌包都删了啊,删完之后就OK了呀。对吧,你在右键重新打开,呃,你看一下那个谷歌还在不在,你看谷歌没了吧,这样的话就不会再有依赖冲突了,很简单吧。
05:07
我把这个截图放这里啊。就是这么简单粗暴啊,另外一个事儿呢,就是呃。第二个就是。避免避免与与哈杜的冲突啊,需要拷贝一个包,其实这个地方我们在5.2。一的时候已经说过了,就是什么呢?就是这个哈,Do map reduce client Co。啊,如果你就算没有用雅安session模式,你放了,只要放了hi的连接器就必他就虽然你配了class pass,它一定会跟哈杜克冲突的啊,就这个东西比较恶心啊,这是第二个注意的事,我也写一下啊。嗯。
06:02
到flink的live中,好吧,啊,就这两件事啊。第一啊,我把文档稍微调整一下啊。解决瓜娃冲突。对吧,第二。解决与哈杜op的冲突。这个在5.2 5.2.1啊,已经已经已经啊做过。那这个就是真的这个坑就坑了好多好多人了啊,也坑了好久啊行了,那我现在上传一下吧,废话少说啊PD啊弗林格利吧,对吧,你直接用我的这个。给你瞅一眼吧,我是确实已经删干掉过了啊。com,你看没有谷歌了啊,好,直接拿过来上传。
07:04
那这个还有这个哈杜这个包我们也是已经上传过了,上传过了。行。那我们想要让它生效的话,我们必须干嘛呢?呃,重启这个延安session呢啊,刚好那里面一堆任务全给它关了啊。啊,这个没有了,这个没有的。点中他kill,确定。那么接下来就是正常来启动咱们这个session,那这个之前这个杠I这个我就不要了啊,我现在要自己的catalog,我也不去写文件了啊,正常来讲你要用它,你就写个初始化文件,不用每次都去执行,那现在我只是为了快速演示啊,我就不去指定的log了。我直接在客户端里面去啊,Show catalog,你看现在只有一个default对吧?好,那么接下来我们来创建一个have catalog。
08:11
那这样就OK了,正是因为我们引入了hi连接器才能这么用的。另外我教大家一个就是你看受catalogs,你看现在是不是有have catalog,那我们可以use have啊catalog,那你呃啊不是少写了一个啊catalog这个时候你再去创建一个忽地表啊,你随便前面找一张呼地表,呃,啊,就比如说这个T10吧,啊T10啊,你看。完事了对吧,呃,你瘦tables。啊,其实也不用啊,为什么呢?嗯。现在大家能看到啊,我受data basiss是不是能看到,已经能看到很多了,也就是说你只要用了have catallo,你不仅仅能看到忽底表的原数据,你还能看到have的原数据啊,全部是通的啊,所以这个很舒服,而且你建的表你回头退出这个客户端再进来在use到这个have catalog,你这些数据而一直都在,而且呢,你现在可以通过搜狗客户端查询have表,大家注意查的不是复利表,Have表也可以查,这个就是怎么来打通跟have解决依赖问题啊,你不要看是我们现在轻轻松松什么删掉啊,上传就OK了啊,那平时让你去定位了,还是比较麻烦啊,行,那这个我也不想多讲,那定另外一个我也我也不去做一个太多的说明了啊,那这个就是正常的,这么去创建一个whodi catalog就可以了啊,啊也是这么一个用法啊,类似的,你喜欢用哪一个回头把。
09:55
把这些呃指定到一个SQL文件,然后呢,启动的时候杠I就可以了啊,跟前面那个DFS的用法一样啊。
10:05
那其实还有个好东西啊,顺便给咱们你看SHOW3个,呃,现在的话我们flink circle有没有SP这个函数啊,切分字符串了,是不是没有啊,你看S开头的并没有对吧?我试给你看啊呃,比如说A逗号B,诶然后呢,我要按逗号分隔。你看这个函数,直接什么说没有这个东西,你现在只要放了hi的连接器啊,有一个东西叫models,它是可插拔的函数集,你看只有一个空,这里面都是have的自带函数,我教大家一个啊,Road module啊,Have。呃,With,然后呢,Have gone version。
我来说两句