00:00
好了,同学们,我们接下来呢,给大家讲一下咱们这个雅安模式啊,那雅安模式呢,其实是在我们工作当中用的比较多的,为什么呢?因为工作当中啊,这个海杜布集群呢,一般呃会用的比较多,那么同时呢,会把雅安作为我们的首选的资源调度框架啊呃,他说了独立部署丹德隆模式由Spark自身来提供计算资源,无需其他框架提供资源,这样的话呢,它降低了和其他第三方资源框架的耦合性,独立性非常强,但是呢,Spark主要是个计算框架,它不是资源调度框架,所以呢,提供资源调度的这个事儿啊,不是它的强项,所以呢,我们一般还是要和专业的这个资源调度框架结合在一块儿,其实会更好一些啊,所以我们接下来呢,就来学习咱们的雅安环境下10SPARK是如何工作的啊,那么咱们接着呢,往下首先第一个解压缩咱们的文件,来吧,我们现在呢,来咱们后退啊,咱们写上咱们的soft,咱们就直接拷贝。
01:00
是吧,把这个呢,我们来。直接拷贝,拷贝以后放到这边,诶我们直接回车,回车以后如果没有任何问题的情况下,我们现在已经解压缩完毕,好了,同学们,我们接下来呢,把我们的这个名字我们改一下啊,来拷贝,拷贝以后我们放过来,然后呢,我们回车,回车以后现在名字就已经改完了,接下来我们准备要修改对应的配置文件了,那么会要在我们海杜当中有一个我们的颜赛的需要配置相关的参数,这个呀,我在本机已经配过了,同学们按照咱们课件当中的内容呢,稍微的给它配一下,对吧?诶就可以了啊好,我们接下来,接下来呢,要把那个Spark音V给它配置一下,所以呢,我们这里去找一下来咱们后退,后退呢我们刷新,刷新一个有个Spark一样,然后把那个env打开。打开以后把这个呢,我们点开啊,点开之后呢,往下来,然后在我们这个位置拷贝。
02:01
啊,把它拷贝,拷贝以后拿过来啊,那么拿过来以后,大家会发现咱们这个地方有点不太对,本机我这个地方是JAVA8,然后这个地方呢,OPT module,海这个呢也不太对,因为在我的这个地方呢,应该它叫做海OP3,所以也不太对,那不太对的话给它改一改,叫海OP3啊这么写就可以了,好继续,那么接下来呢,就是启动HDFS和盐了,那我这里事先是已经启动好的啊,所以来我们看一看,咱们写上来。好了,大家可以听到,我这边事先都已经启动好了,启动好以后,现在呢,我们就直接来提交咱们的应用,那么提交应用的时候,大家会发现我们这里呢,跟之前是完全一样的,但是这个master有了变化,这个master呢,我们叫做雅N啊,之前什么local啊,什么Spark之类的,现在变成了,然后后面呢,有一个叫deployed mode,这个叫做部署模式,咱们叫集群部署模式啊,来拷贝,拷贝以后在咱们这个地方给它去执行一下,来CD我们叫做Spark,嗯,咱们叫ER2,诶好放过来,我回车执行一下,因为啊,咱们现在的这个提交的方式呀,它叫做集群模式,所以呢,这个打印在控制台上的这个东西啊,我们这个控制台就没有了啊,为什么呢?因为它是依托于集群来做的,你在我们客户端的控制台,我们就看不见了啊,所以呢,我们稍微等一下,他如果正确执行的话,他的作业就会结束。
03:36
啊,这个呢,我们了解一下。嗯,同学们看现在是不是已经结束了,说明我们的这个执行就是OK的啊,好,我们回过头来往下走,往下走啊,他说了我们可以看一看我们的这个监控的页面啊,所以来咱们拷贝这是我们的8088呀,所以打开点开,点开以后呢,回车,回车之后大家会发现这是我们刚刚走完的程序,它叫做18拍,没有任何的问题啊,好,咱们接着往下,往下以后他说了,我们这里呢,还可以配置历史服务器啊,就是想看看执行过程就可以啊,那这个跟前面其实差不多了,大家看一下,这里面是修改default,其实咱们前面做过啊,在咱们给大家演示那个三的时候,其实就配过这个东西,咱们再来一次啊,来把这个template去掉。
04:26
去掉以后,把这个呢,我们点开,诶点开点开之后把刚才的配置信息给它拿过来,这个咱们之前都是有的,所以拷贝,拷贝之后放到这个位置不用改了,咱们直接保存就可以了,来继续下面呢,他说了,我们要保证我们的海豆集群已经启动,并且目录要存在,这个咱们都是OK的,接下来在env当中把这个咱们拿过来拷贝。呃,在这个里面EV咱们点开,点开之后往下来啊,往下来放到后面去,放到后面去都不用改,这个都是现成的,好继续下面呢说了,在我们Spark default的配置文件当中,需要加上这个,将雅恩和我们的Spark做一个关联,所以我们的default啊,咱们的default把它点开。
05:14
点开以后,在它的后面咱们加上,诶把它做一个关联啊,嗯,OK,咱们再来啊,那往下就没有别的了,那下面呢,就是启动历史服务了,那么启动历史服务的话,咱们这里来吧,咱们叫然后呢,Start,嗯,咱们的start,然后history,哎,启动,启动完成以后,那这个时候我们再重新执行,就是OK的,那么这个重新执行啊,咱们给大家换了一种方式,不再是那个集群模式了,而是一个客户端模式啊,这样的话可以看到结果。来在这里呢,来回车回车之后,那这个时候如果没有出现任何问题的话,他会在咱们的控制台上就把那个18派打印出来,哎,就是这样啊,咱们稍等一下好了,同学们,我们现在呢,已经把这个已经执行完了,大家可以看到18派已经出来,对不对,那么这个历史符也就算是配好了,但是呢,历史服我们得看一眼,对不对,所以啊,咱们往下来,咱们看一看咱们的历史符,咱们打开,打开以后在我们这个位置来回车回车之后呢,我们刚刚执行了它,那么我们可以往后看,那么后面会有一个history,我们点一下,我们后面看一下咱们的这个历史服务,大家看我点击过来以后,是不是就走到了driver的那个监控页面,所以我点点完以后,在这边是可以看到它的执行过程的啊,所以说这个历史服务还是非常有帮助的啊同学们。
我来说两句