00:00
之前我们给大家演示的呢,是本地模式啊,Spark的本地模式,但是本地模式呀,主要用来做一些练习呀,测试用的,我们真正工作当中肯定不能用那个local模式,对不对?我们要用的是我们的集群模式,那么集群模式又分很多种,首先有一种呢,是只用10SPA的自身来实现的集群操作,这个我们称之为叫独立部署模式啊,叫独立部署模式,那么Spark的独立部署模式呀,它体现了经典的主虫模式,所以啊它里面有主master有虫,咱们称之为叫worker,所以啊它的集群的规划呢,我们是三台机器,三台机器当中有一个有master,那么然后呢,三台机器都有worker啊,一个管理的,三个干活的,对吧?首先咱们怎么做呢?咱们第一个还是要解压缩,大家看来。好了,那我们现在呢,给它来,我们给他解压缩啊,咱们的来解压缩,呃,这里呢,Spark放过来,然后杠C,然后点点斜杠,诶回车,回车之后我们把解压缩的这个文件夹给它改个名,所以来我们写上咱们叫做它,咱们叫做MV Spark,嗯,咱们是三。
01:17
好了,给它改个名叫Spark,咱们叫stand alone,就是独立部署模式,改个名,改完名称以后,现在呢,我们要对它进行一些基础的配置,来实现它的操作,首先我们来看看我们该怎么做,课件上是有的来。第一个把我们的这个SLS的模板文件改一下,大家看一下,在咱们这里来来来,我们刷新,刷新以后这边有一个叫Spark stand alone这样的一个文件夹打开,打开以后里面有个叫com,这个。com里面呢有一个文件叫做slaves,我们把这个template把它去掉,这个template叫模板,你把模板去掉以后,它就能起作用了,所以我们这里打开,打开以后它默认有一个叫local host,但是我们得变一变,咱们把它改成咱们自己的机器的名称,你们的名字跟我不一样,你们要改成自己的啊,我这个叫LINUX12和三,所以拷贝。
02:20
拷贝以后这个就可以了,接下来他说了,把Spark EV的这个文件给它改一下来,咱们找一下叫Spark inv,就是它把这个template给它去掉,去掉以后我们打开。打开之后这里面是一片空白,它里面全都是井号,表示注释不起作用,那我现在呢干嘛呢?他说把如下的内容给他拿过来拷贝,拷贝之后放下面,其中有一个Java home,这个JA home啊,就是你Java的那个解压缩安装的那个目录,这个我们有点不太一样,大家看一下,我这边呢是这样的,我叫做什么呢Java吧,所以我的路径呢,跟课件里面稍微有点差别,你们也要记得改。
03:06
我这个叫JAVA8啊JAVA8好了,然后呢,这个呢是我的master host是我自己的主机名称,这个呢是我的7077,其实默认的端口号就是7077啊,好了我保存一下,保存完毕之后,那么我们接下来再往来往下看,他说了7077端口呢,它类似于我们海三的那个8020端口,这个你要自己呢去把它设定好没问题,然后接下来就可以分发了,像我们三台机器来分发我们的Spark,嗯,好,那我分发一下,呃,这里呢,我们直接来,我们叫Spark叫stand。好回车。他现在呢,就给我们LINUX2和那个LINUX3,我们两台机器分发咱们的这个压缩包,那我们的集群呢,给他分发之后,那我们可以开始启动了,启动的时候咱们要找到这个叫这个的里面的启动关闭命令啊都是有的啊,咱们这里可以看一下啊,来啊,还得稍微等一会儿啊,他这边诶,OK,你可以了,那我现在呢,咱们来写上一下,咱们叫CD,叫Spark,叫stand alone,好,那么记住了,在这个路径下面有一个叫start,叫做or叫启动所有的好回车。
04:28
回车以后,它会先启动master,然后呢,有我们的三个worker,哎,就是这样,那好,如果你启动成功以后,我们可以看一看当前的进程,来我们看一看三台机器当前的进程都有什么,那么这里面一个是master,我们有worker worker和WORKER3个worker就够了,啊就是这个意思。好了,那你现在准备好了以后能不能用呢?我们来看看三台机器就有了,然后把我们的这个地址拷贝,拷贝以后打开,然后回车,那这个时候我们的集群就已经准备好了,一个master,三个worker不就OK了吗?诶就是这个意思啊,同学们,然后那你把环境准备好了以后,你就可以提交咱们的应用程序了,这个提交跟刚才大同小异,但是有区别,区别在哪了呢?区别就在于这个master,所以这个master它表述的是环境的意思,所谓的环境就是它是本地环境,这个是咱们的集群环境,那么集群环境以后有一个地址,还有一个端口号,对不对,跟刚才是匹配上的,好了,我们拷贝,拷贝完成以后,在咱们的这个位置,我们给它来执行复制,然后回车,回车以后,它就会在咱们的控。
05:55
从此台上把咱们的执行结果打印出来,咱们稍微等一下啊。
06:00
好,稍微的等一下,看一看执行的情况,嗯,好了,同学们看已经执行完了,执行完了以后结果在这里对吧?哎,说明集群环境是OK的。
我来说两句