00:00
接下来我们介绍一下如何安装部署STEM差,那本次课程是基于最新的1.2.2版本啊来做演示啊,这个是22年3月24日发布的。那如果你使用了更早期的版本,可能呃稳定性还不够对吧,那后期这个版本已经解决了很多的bug。那么稳定性呢啊,是目前最稳定的一个版本了啊,1.2.2,那我们看一下安装的一个具体要求,第一个操作系统必须是Linux Windows不支持。JDK呢要求八以上啊,最少呢也要是JDK1.8的呢,是三以上的版本,那建议是3.6以上。但前端模块它会用到node JS环境啊,这个我们也要去安装一下。那。支持一二以上的版本。那如果你是更早的版本,那可能就不支持了,另外一个要特别特别注意的是SC版本,我们的flink官方提供的应该是有基于LA2.11的,也有2.12的,对吧?那目前呃,Spring它只支持为2.11的啊,一二的话可能用起来会有一些呃兼容性的问题,可能会出现一些bug啊。
01:21
这是特别要注意的啊,这一点。再往下,呃,如果我们弗Li是基于雅安模式提交啊,那是不是还得有一个哈杜普环境是吧?啊,那哈多的要求呢,就是二。以上的版本啊。那买蛇口的。是必须的啊,应该说是必须的啊这边。为什么呢?因为stream,呃,这个框架本身需要用到MY一些自身的数据。那这一块呢,所以马S是必须的,那版本呢,是5.6以上啊,所以应该是必须的啊,那如果需要用到它的火焰图功能呢,提供的啊,那可能要Python还有per环境啊。
02:04
但其实这个你不一定要装啊,因为flink从1.13开始,官方就呃自带集成的一个火焰图啊,也就是说如果你是flink1.12啊,又想使用火焰图呢,以前要自己去安装一些东西。啊,可能要用到拍损环境,还有这个。那这个时候你才就选择装,那如果你的flink是大于等于一三,其实这两个你可以不用装啊,Flink自带的啊,自带好这是一件事啊,那接下来我们就来实际演示一下啊,首先第一个我演示的3OS是点五的啊。KDK呢,我是1.8,那没我们说要三以上,那我这边已经装过一个3.6啊,如果你没有的话,你就按照我们命令去下载就可以了,用呃w get方式去下载一个,比如说3.8.5的啊,下载下来之后解压。解压完之后。
03:01
对吧,配个环境变量啊,或者直接超链接也可以都行。除此之外呢,这一步啊,建议大家做一下,就是什么意思呢?VIVO默认的中央仓库地址是国外的对吧,那在国内使用可能网络比较慢,那我们一般常用就是把它改成一个阿里云的镜像啊,阿里镜像。那如果你不会改,呃,我们这边提供好了一个。放在机体上的一个配置文件,你直接下载下来,覆盖掉你自呃原先的配置文件就可以了啊。那这个眉粉给大家看一下,我这边应该是下部啊。你看我是3.6.3啊,而且环境变量也配过,那接下来要做的是不是那个配置文件对吧。好,那么大家看,比如说这个配置文件,我先把它删了。也不用删,你直接执行这个命令。因为我这版本不一样,我就不去杠O指定路径了啊,不指定路径就是下载到当前路径啊。
04:06
这个色啊。好了,现在覆盖掉了,你要时间也变了,对吧。那在这里啊啊,已经给大家配置好了,这个mirror啊,都是阿里云的地址,这个大家应该特别常用了这个。好,这个没什么好过多去讲的,那配置完美,接下来我们还要安装一个NOEJS。JS呢,你如果直接通过M去安装可能会报错啊,说找不到这个相关的啊软件。或者找不到相关的安装包,那如果是这样的话,你就先执行一下上面的病例啊。还有一个就是如果你版本跟我不一样了啊,给大家看一下。打开这个GI的页面。在下面他有介绍一个安装方式啊,不同的操作系统怎么来装。
05:03
那我这边是center OS啊。那是不是得点这个对吧。好,下来。你看。不同系列的环境准备啊,现在最新的有17啊,有十六十四十二,那我们你你用最新的17也行,用16也行,那我们这边演示的就是用16系列啊。那么大家注意,执行这个命令需要root权限,如果你不是root权限,你在这边加一个什么修动啊,不是加前面啊,是加在这里啊,是加在这里好,就比如说我现在不用root账号,我就执行这个命令文档呢,我也粘了一个啊。这个就是非root用户要执行的命令好回车,这样呢,Node js16系列的环境,他就会帮我们呃准备好,准备好之后通过亚母命令直接去安装就可以了啊,非常方便。那如果你是乌班图的系统,那同样这里也有介绍怎么去装对吧,你往上翻就行了。
06:06
啊,往上翻这边就是一个乌斑图了啊,你点一下啊往下拉。对吧,安装命令是不一样的啊。啊,这边这个也不一样。看一下好了没有好,现在环境准备好了,我们直接安装就可以。修度yep install-y node JS。这时候再去安装啊,就没问题了。一样的,我们等待他安装完毕啊。那这就看你的网速了啊,比如说我现在才100来K每秒啊,那可能要等一小会儿啊,等个一分钟啊几分钟。
07:05
那这个大家可以看到下载速度非常慢啊,刚才100K,现在降到十几K,呃,如果你有科学上网。那么应该很快,那我这边呢,我就选择CTRLC取消,然后再重新执行,它会继续下载重连,这样的话就是呃。刚刚重新下载的R候。可能速度会又会飙回来到100K左右啊,你就反复这样去下也行,或者说呃,你用网呃,找其他方式手动安装也可以啊。那你大家可以看到现在安装完毕了,安装完毕之后我们执行一个弄的杠杠version。看一下版本啊,那这个是因为我以前装过4.5.0的,所以显示的是以前环境变量,那么大家呢,就是安装完应该是可以看到一个最新版本的,对吧,那我修改一下我的环境变量啊。
08:09
忘了放哪呢?我之前配的一个应该是放在这儿啊,我看看有没有弄的啊,有个这里。大家应该是不用做这一步的,那这些我之前手动安装过啊,弄的刚刚version好,现在就正常了,那么大家安装完正常就是可以看到啊,安装完的16啊16版本的弄那这样就安装完毕了。后的my circle啊,这个相信大家都装过,这边不再去重复,那我现在有一个5.7的。还有一个是flink。Link跟哈杜呃,像这块大家呃应该是安装好的,在这里我们不做重复,假设你的环境已有了,那但是使用过程中要注意配置几个东西啊。
09:10
呃,第一个flink最好给他配一个环境变量。第二个哈杜的黄金变量也配一下,特别是哈杜op home,还有哈杜class pass啊,这些都要去配置。其次呢,还有一个东西是解决哈的一个版本兼容性问题啊。啊,就是把这个参数设一下,设成30,这也是默认值啊,主要是解决那个二系列跟三系列的一个兼容问题。那看一下我刚才这个。这里,那首先大家可以看到我哈杜home。啊,是配的。还有呢哈杜class pass啊,这边也配了,那还有一个flink没配。因为我这边存在多版本的,其实配不配都行。
10:01
那我把这个拷贝过来。好,那link环境变量哈杜class pass还有哈杜home啊,那就都有了,哎,我们source一下。可以给大家看一下,我这边的fli有很多很多版本对吧?啊,那我现在指定的是这个版本啊,13.6。那还有一个的这个配置,我们也给他修改一下啊拷贝。然后呢,修改我们的哈杜配置文件。在ETC哈豆ver下面这个配置文件你可以放在core-set或者呢HDFS-set也可以啊。这些配置文件只要能读到就行。呃,规来讲这个参数应该是HDFS杠啊,那我直接拉到最后。
11:03
粘贴。这样就可以了。不改完,别忘了分发。分发完我们再去启动哈杜的HDFS,再启动一个雅那就可以了,那比如说我先启动一下呗。Start DFS。然后呢,雅安你也提一下。一会呢,方便我们去使用。那这就启动完毕了,到此呢,我们的一个环境准备就OK了。
我来说两句