00:00
接下来我们看一下第五章flink跟hodi做一个集成,那首先我们了解一下他们之间的版本适配,还有支持的一个问题,那现在忽迪最新的是到0.12对吧?那较新的有110,可能0.9还有人在用,那我们看一下他们支持的flink版本不一二,如果是最新的0.12,那最高呢是可以支持到了1.15了啊,这也是相对比较呃较新的一个flink了,那么1413那同样是支持的,那么如果是0.11的湖底,那只有141315呢,不支持。那如果湖底再老1.10,它支持的主要是一三,当然一二也也可以用啊,主要是一三,那如果是0.9,那可能就支持到一二啊这样。那么本次课程呢,咱们会使用0.1,咱们是0.12的护底,那fli呢,我们现在用的是1.13,那1.13的稳定版呢,是点六对吧?啊,那我们就用1.13.6SC呢,我用2.12的,因为咱们编译的时候就是用了2.12啊。
01:09
好,另外我想提醒大家的一点是什么呢?是这个0.11的护底是有一些问题的啊呃,官方也是不建议使用0.11.0这么一些版本,呃,如果你要用的话,用的是一一版本的一个补丁分支,但是呢,它没有合并到版本当中啊啊,所以呢,一般官方推荐你用0.9可以,0.10可以,再往后就直接就建议0.12,那这边是官呃gate哈上面的一个记录啊看一下。首先我们看一下标题就好了,他说了什么呢?不合并啊,也就是说它这个是不会合并到一一当中去的啊,它是一个什么补丁的分支,呃,总而言之,大家感兴趣自己去呃看一看它这边的描述吧,大概的问题就是会有一些问题啊,一些丢数啊,已经close的,还有一些还是open当中啊。
02:11
嗯。好,这是提醒的一个小事情啊,那行,那接下来我们来准备一下flink的环境,呃,那flink咱们直接就是去,你可以去官网下载一个flink的安装包啊,那简单,我这边有一个啊。我已经上传上来了,你可以去官网下啊,用的是1.13.6啊SC2.12这个,那我们把它解压一下。杠C大C啊,Op Mo,我解压到OPT module下面。好看一下,那么现在就有一个1.13.6了啊,现在是纯净版的,我什么都没改啊,什么都没改,那接下来就是正常的准备一些环境了,呃,第一个呢,要将我们编译好的那个湖底架包拷贝到flink的目录下面,那个在哪呢?OPT software war铺0.12.0对吧?啊在里边呢,有个package。
03:18
之后呢,有一个who flink这个模块,呃,进入target目录,那这里就有咱们编译好了这个架包了啊,那么拷贝一下。TOD flink点价拷贝到OPT module flink1.13.6啊立本目录下面好,CD过去。那你看这个包就过来了,那接下来呢,咱们就是要准备,呃,做几个事儿,第一呢,要解决一个瓜瓜网包的冲突问题啊。
04:00
那否则你启动会报一些,呃,官网里面的一些呃依赖冲突会报错啊,那这边要看你的哈杜版本是什么啊,那我的哈杜是3.1.3对吧,那他用的官网版本是二七啊,那这个可能啊,我们就把它拷贝过来就行了,呃另外呢,就是配置哈杜op的环境变量。因为咱们flink跟哈杜的集成是不是,呃,只要环境变量配置一个class pass就可以了,这个是常规的配置对吧,大家应该都懂啊。好,那接下来我就来到一个OT model,呃,我的哈杜下面啊,一个share啊,应该是哈豆空本,好找一下是不是有个瓜瓦包,诶,我在这吗?我看一下啊啊空本还有个leave巴啊啊对,Le里边。看他用的是二七啊,那么就拷贝一下呗啊,避免后期的一些依赖问题啊,拷贝到op Mo flink1.13.6啊Li好,那做完这个之后不要忘了配置哈杜的环境变量,我是在麦env里面去配的啊,那这其实啊我住掉了对吧?那我们现在把它打开啊,主要是配这个啊,哈杜class pass,那这个是依赖于哈杜的一个命令啊,执行一个class pass,把它加载过来,那要用这个命令的前提是什么呢?你的环境变量里面有哈杜和啊,那我往上翻,你可以看到我这边呢是有哈杜和home啊,所以这个命令才能够执行啊。
05:47
另外这一边这个符号是反引号啊,绊示执行命令的意思啊,不是单引号啊好,这就是几个注意的事项,那这个空DR可配可不配啊,因为它也能找到啊,然后习惯上是配上保存,退出之后不要忘了做什么呢,Source让它做一个生效,那完事之后呢,后续由于咱们可能要用到HDFS啊,或者要基于雅安模式啊啊,所以你把哈杜ER启动一下啊,那你就正常启动就行了,那我这边现在应该是启动的,大家可以看到内node datanode。
06:22
呃,No的manager啊,这些都在,包括resource manager啊,我的哈是启动,OK,那这个就是我们集成要准备的一些环境啊。
我来说两句