00:00
好,同学们,那在讲这个阿卡的时候呢,我们有一个任务,对我们有个什么任务呢?大家看一下当时的这个幻灯片,对当时有个幻灯片是在哪里呢?诶在这我们在讲Spark master worker这个项目的时候,我们这儿有一个要求。看一下这个要求是什么。对,在哪里呢?在在这个地方。那就就是第五一个功能要求同学们对这个master还有worker进行分布式部署,进行分布式部署,那么进行分布式部署呢,有一个前提,就是同同学们需要把我们的这个项目呢打包。部署到零零上去,这里就涉及到如何对吧,这里涉及到何给这个me啊项目干什么呢?打包哎打包。
01:01
好,当然打打完这个包过后呢,你再上传到对应的零零,这个就很容易了。上传到零零克S运行就没问题,那么炸打成一个炸包过后怎么运行呢?就用我们Java杠炸运行就可以了,那我给大家演示一下这个是怎么完成的,呃,注意啊,因为linu这块呢,我就不去启动,我直接给你们这个上传大家都会。上传完了后怎么运行,我把那个指令说一下,然后给大家在Windows上演示一下,效果是一样的,只是一个上传呢,自己同学们自己去完成就可以,好,那现在呢,我把这块给同学们,呃说一下。我把它做一个补充点对吧,诶做一个补充点放到这个位置来。这个对于我们来说难度很小哈,但是呢,还得会稍等一下,不知道这个机器刚开始有点卡哈,稍微有点。来吧,看一下标题三。
02:00
呃,那么怎么样给他打一个包呢?看老师的演示。看老师演示啊,那么我们看第一步应该步骤步骤一对,那步骤一我们应该做什么事呢?那当然打开它切换到我们这个阿卡。的这个项目,诶阿卡这个项目在哪呢?诶我们应该是open这个阿卡0705对不对,好0705,我们打开它。那打开以后呢,同学们看到我们这个项。这个XM文件po这个文件,这个文件我们原先其实这个接口呢,已经留了,在哪里呢?在这个位置。这有一个组类,当时给大家的配置文件呢,这写的是三个叉啊,代表不知道,这个是指定我们要打的这一个项目,它的主文件也是我们那个主程序的入口。
03:05
那现在呢,我们来玩一把,怎么打呢?好,我们步骤一,诶先干什么呢?先打先给这个master Spark master打包对吧?诶给他打包,那这个打包呃,应该怎么样呢?就是修改。修改我们这个pom.X文件到这个这个节点,就就这节点,我就不说啰嗦了,就把这个节点拿出来看一下,就这里。就这个位置啊。Main class。这个节点。啊,修改它的这个节点,指定指定我们的这个,呃,主程序啊,主程序的这个主类吧,我们就是叫程序的主类,哎,程序的主类即可啊主类。
04:00
呃,那么现在呢,我们就来指定一下同学们,那我们先来指定哪一个呢?我们先给Spark,呃,Master打包,那我开始写了啊,Com点把这个有什么变化给他引一下就就行了。Com点。呃,爱硅谷点阿卡点我们的Spark这个,呃,Master worker点我们下面有个master,点下面的Spark master找到了,诶其实就是它就是修改成这个样子。哎,修改成这个样子,即啊指定修改成修改成如下。修改成如下,当然具体怎么修改根据你实际情况来决定,找到这个下一步又该干什么呢?同学们,下一步就要调出我们这个man project这个菜单,这个菜单你们可能目前是看不到的。看不到怎么告诉大家怎么把这个左侧的main project菜单调出来啊,这个应该很很简单,大家看,如果你看不到,当然你就不说了,如果看不到你怎么调呢?在这个有个setting里边,里面有个啊parents这边有个show to window bus,如果你把这个勾掉,你看啊,如果我把这个勾掉,你看我这边也我这边再再收回去,我也看,我也看起来就有收尾,我也看不到了。
05:25
我也看不到了,那么你如如果你看不到怎么办呢?你点这个setting,然后再把呃,Appear把这个勾上就可以了,好,我把这个呢给同学说一下,因为有些同学啊,可能不知道怎么做啊。诶怎么样做呢,就是第一步我们把这个。选中,然后把这个勾上即可,这第一步第二步这样子做完以后呢,你就可以看到我们的这个选项了,就是调出啊,显示maven maven projects的这个左侧啊,右侧啊叫右侧右侧。
06:05
右右右右侧这个菜单啊菜单那么具体来说呢,啊,就是这样子来整的,哎,同学们应该有一个印象,当你这样弄完以后呢,我们可以看到,我们可以看到这边呢,就多了一个右侧的菜单,把它点出来,点出来过后这边如果有多个项啊卖项目呢,会有多个,其中有一个叫life circle,这个以前老师讲过,这是什么呀。这是我们ma项目的一个生命周期,对不对?哎,什么clean呢,这个验证呢,Compare啊,Test呀,Package大家看这个就是我们的package打包的地方。诶打包的地方,下面这个就应该同学老师也讲过,是不是就是这是它的一个生命周期。那么我们现在只要双击它就可以了。对,然后呢,你你这边就就找到它,然后我们双击这个package即可,诶,然后双击啊点击也可以啊,啊双击一下这个package,它就开始自动的打包了,开始自动。
07:15
自动的啊,自动打包,自动打包,那么同学们打包呢,他刚开始要下载一点东西,所以说可能同学会慢一点,看第一次啊,第一次打包的时候,它要下载,需要下载下载一些这个它的那个插件,或者是他的一些内内容,这个呢会有一点慢啊,那么我就直接给大家双击一下。好,同学们,这个我不看了啊,我们看这个地方它双击过后会怎么样啊,好,我把这个调出来双击。好双击过后呢,同学们看到下面呢,他就开始疯狂的打包了,他就开始疯狂打包了,那么我们稍等片刻,他整个这个流程是不是,诶因为我呢已经下载过相关插件,所以说我的速度呢会快一些,你们第一次呢会比较慢。
08:09
好,同学们,看到这边呢,他已经说什么呀,Build success就成功了,成功以后呢,他就打了一个包,那打一个包过后在哪去找这个东西呢?同学们,好的,很简单哈,很简单,你呢,找到这个地方,我们先把这个收起来,找到哪呢?找到这个target。找到这个target里面呢,你用一个呃,Show in explorer点进去,点进去,点进去以后找到这个target里边呢,你看到诶这里面。有两个,这两个有两个可能是我以前做过啊,干脆我这样子,我我这样子先clean一下,不然的话大家看不清楚,我先clean一下。我先clean一下,好,Clean完了过后,我再看那个就应该什么都没有了,诶你看这个现在什么都没有,我再重新来一次啊,因为我以前打过一次,所以说他有残余文件,所以把它清掉,再重新来一把,这样也比较安全。
09:08
好。这个地方它这块稍微慢一点,诶好,现在开始打包。啊,打包了,这这就结束啦,结束以后我们再进到这里面去看一下。再进到这边去看一下,这个时候你看到只有一个文件,诶这样就清晰一点看,只有一个文件,哪一个文件就它这个文件会比较大一点,这里面为什么大呢?因为他把你这个项目需要用到的那些JA啊,那些那啊全部都给你带进去了,这还有一个original阿卡,这个是我们的,仅仅是我们的原文件而已,大家可以点进去。哎,等下你看这里面的内容呢,其实非常的少,诶,其实就是一点你的原文件而已,那么如果说这里面呢,大家大家打开内容就比较多了,你看这里面内容呢,就显得用的好多什么IO啊都有,对不对,这边都有,那么我们的这个配置文件内容都在这里面有,我们是在哪呢?在这个。
10:07
点MF里面指定了,指定了我们这个内容,你看这我就我我就随便给你打开一下啊,我就用记事本打开,你们看这里面呢,看到哦,这是我们的一个版本对不对啊嗯,怎么阿帕奇,然后大家看这里,这是我们这一个项目运行的那个组类就跑到这来了啊,相信同学们应该能够看懂。就这个地方呢,你会看到它的一个主配文件啊,它的一个配配置文件。好,那么这个地方告诉大家怎么去找就行了,诶那就找到它在哪里呢?点击啊到。到这个target target去去找啊,去找那个文件内容,内容比较比较大的,比较大的那个文件就是我们的,这就可以用了啊,那现在既然有了这个东西,那我们就不客气了,把它整个拷贝过来。
11:05
啊,我复制一下,复制到哪去呢?啊,比如说我先放在我的桌面,我给它取个名字,这个名字可以改,我们把它取成什么呢?我们就叫master,好,这叫,然后呢,紧接着下一步就咋打另外一个,打另外一个呢,同学们你得先把这个主类文件改一把。诶,改了改到哪去呢?好,同学们看,点我们的worker,点我们的Spark worker,这是另外一个组类了,好主类我们双击先清一下。好清清掉以后呢,我们再来package啊,再来package,这个时候再给谁打包呢?就是再给我们的这个worker这个项目打包,因为它是分开的。它是分开的。好,稍等片刻。好,这次呢,他又成功了,诶他失败了啊,他说有一个程序正在使用哦,我明白了,因为我们正在定在这个位置的,这是不合理的,我们先退出来啊,退出来,退出来我再重新来一下啊,因为有时候他发现你在使用那个文件呢,它会失败啊,失败我们再来。
12:14
啊。好了,是记事本吗?哦。可能是记事本啊,刚才同学提醒的也是有有道理的,因为我打开那个文件我删不了。好同学们现在看看现在是不是怎么又是他说一个程序在使用它,诶我是哦哦明白了,看是不是这啊嗨,要不怎么说这个。这个少一步都不行了,就打开看那个文件过后啊,出了这个问题了,好重新来一次吧,他老包一个程序再读取它的确如此,好,现在应该没有问题了。好的,现在正在编译。好,同学们看,这一次呢,就没问题了,它出现了一个成功,那成功过后呢,同学们老规矩,到这里边我们再次找到刚才那个位置,好找到这面又来了一个文件,但这个文件跟那个文件不一样了,虽然名字要一样,但是不一样了,含义不一样,那么我把这个呢,给同学们放到这儿,取个另外的名字,比如说叫worker。
13:19
好,现在我们就可以用它了,这个时候你得到这两个文件过后,你就上传到你的Linux去。这两个文件我相信同学们知道什么含义,就是你把这两个打包的文件呢,上传到你的Linux去,这个我就不说,大家都知道啊,将。将编译啊,将这个打包打打包,打包的那个炸拷贝到或者上传。啊,上传上传到Linux式啊,各个Linux式你要到哪去,你就上传到哪个Linux式就完事了,那上传以后呢,你要执行的指令就来运行它,那么现在我们就来运行测试。
14:05
啊,因为我这零零课时呢,我这就没不去演示了,没有任何问题啊,同学们你们放心好了,肯定都有,只是你需要启动,呃,至少三台申透VS你要启动三台思渗透S实现这个分布部署。啊,实现这个分布分布式啊,分布式啊。好啊好,我们现在来找一下这个东西。啊,分布这个写错了啊,这个分布不是这个分布分布。啊,那么现在我们来运行怎么运行呢?我给大家演示一下,比如说现在我把这两个文件拷贝到。拷贝到一个,比如说拷贝到E盘吧,假如拷贝到E盘,现在呢,我给它运行一下,看看能不能跑起来CMD。因为我在同一台机器啊,看看怎么运行搜输入我们的JA啊Java杠。
15:03
那刚才我先运行哪个呢?我先运行master,我一回车它会提示我要干什么呢?要输入参数,这是以前我们写到里面的,大家把这个参数指定一下。好,我指定清洗啊,那首先呢主机,那我就127.0.0.1,你们将来是什么,你就指定什么IP地址,那么端口呢,比如说我写7777好的,那呃这个Spark master的名字呢,我们干脆简单一点,就叫MASTER01回车。好,现在这个就运行起来了,这是我们昨天写的,他现在已然进行了检测啊,现在检测到有零个worker存活,好现在呢,我们再来运行一下我们的什么呢?这个就是呃,Worker好,那我从这进一下。切换到我们的这一个E盘对吧,那现在呢,我用老规矩啊Java杠这。
16:00
然后呢,我去执行这个worker,假如先执行一下,看看有没有提示信息,他说你现在要输入六个信息,那就开写了。哪六个信息呢?第一个是worker的,就是我们worker的这个host,那现在因为我还在本地,就没有办法,呃,只能用这个了,如果你将来上传到Linux时,你要先用I if con figure先查一下。啊,然后你的端口呢,咱们就换一个,比如7778,然后worker的名字呢,我们就叫worker,诶你worker。零一,哎,刚才我们的是MASTER01是吧,看一下对不对。啊,刚才我是MASTER01,好,这个叫WORKER01吧,WORKER01,然后呢,我们要去连接的这个master主机127.0。点0.0.1,然后端口我们知道是呃7777,然后master的名字呢,我们知道是MASTER01回车。好,回车以后呢,现在注册已然成功,现在他就检测到有人在发心跳了,啊,有一个work存活,这边在不停的发心跳,好这个就说明我们这个项目已经可以跑起来了,那你分布跟我刚才唯一的区别是在哪里呢?啊,就是说上传到linu,可这一步同学们自己去做就可以了,非常的简单,非常的简单,好现在呢,我把这个关闭一下,大家也可以看到,这边马上也可以检测到,是不是他一会说当前只有零个worker在存活,是不是这样子呢?果然如此,好同学们这就是一个简单的使用,我把它。
17:36
指令给他写到这里来。好,运行测试这个指令同学们刚才也看到了,我就截取一下就可以了啊,同学们非常简单。哦,就这样子一个指令。就这样一个指令。好,这是我们运行的,呃,Master,那么worker怎么写呢啊。运行这个ER就应该这样写了,Java-JA,然后就是我们worker点对吧,后面是参数。
18:11
啊,根据名字把这个参数写清楚就可以了,好,这是第一,这就是我们这个打包啊,然后发布的一个具体的操作就给大家讲到这里啊同学们呢,待会儿自己去试验一下。
我来说两句