00:00
好,下面呢,我们来看一下这个4.2.2启动雅恩并运行外部这种程序。在里面。那上来先问大家一个问题,雅由几个部分组成?四个啊,需要记住两个,目前是吧,哪两个。你上弄的这个是。集群资源的老大。他是。单个节点这样的老大OK?那下面我们来看。呃,要想启动这个演呢,需要这么几个配置啊,一个是配置集群,在演上运行M2,另一个呢是启动测试。所有的集群搭建完毕之后,必须要测试啊。啊,一定要测试,包括功能测试。和。功能测试和性能测试能区分开吗?功能就是能完成一些你的需求啊,正常改良等等操作,那性能呢,相当于是种。比较典型的啊,压力测试是吧啊。
01:01
你现在跑一个文件没问题,那往上1亿个数据能不能扛得住?啊,等等这些事情的处理啊,OK。那最后呢,跑一个或者号码。那同样,哎,我们就按照这个配置往下走,一步一步来啊就OK了啊,那看第一个配置雅恩,因为。遇到烟里面配什么?就是加疯狂。GS啊,目前是启动状态好。CC啊,来到这MV.sh走。怎装呢?把家home拿过来。复制往下找。哪呢?加那个加完home。
02:03
是1.6。不吃了。啊,搞定一个啊。甲,因为那再往下看这个甲赛。刚才我说牙里面有四个组成部分,其中要记住两个对吧?分别是note和。那下面在这个文件里面,我们就要对这两个组件进行一个配置。来看第一个就是。那manager啊。Service什么意思呢?这是获取获取数据的方式呢,采用的是这种沙的形式。目前你们对那个沙那个概念呢,是。非常不熟啊,也是我刚提到,但是我告诉你,呃,在你们日后。会非常非常熟悉他啊。它在这个当中是最核心,最核心的一块。在哪呢?在60里面。考试必备啊。
03:01
三盒机制啊。这一块也是说第3.3章后面的,像什么分区啊,排序啊,啊合并等等这些事情全部都是沙里人要做的事情啊。非常非常多哈啊,包括不知道你们记没记住,上次老学员回来分享啊。其中点到了是不是这个summer啊啊。而且拍这沙是要问Spark的,沙是更是必问的啊,都是这个沙的过程,S是一个什么过程呢?叫。打过麻将是吧?也打过扑克牌。就混洗啊,洗完之后再重新排啊。发牌洗牌啊等等。把数据打乱。好,回头呢会重点去讲,那你现在目前记住啊note matter呢,设置完之后决定了reduce获取数据呢,采用这种杀的方式。那下面还有一个就是。Resource manager呢,这里面指定的就是说你放在哪个服务器上。
04:05
当然,当前我们只有101这一台服务器。放在这儿。后面我们在这个4.3这一块,我。可能就要把它放在其他服务器上了。啊,那时候再说,现在呢,至少我们有一台火器只能放在这儿。一个是manager,一个是。千万别写哈。VM亚赛。滴滴干掉,哎。粘完之后啊,你稍微检查一下,你看这个标签是不是成对出现,包括这个刚才有同学这个这地方呢,明显显示你的后面这个标签啊,没有啊,最后一半没有对吧,一定要补上啊。进到这里面就比较慌张是吧,一不小心删掉一个,然后就跑了。
05:02
是吧?呃,再往下呢,是这个。因为。后面呢,我们要配MA6。因我们接下来这个在雅安上这边没有呢,呃。呢,是真正的走这个map阶段和阶段的啊。那看一下吧,遇到因为就是。然后是。麦把red。因为。进来之后找他的家父。干掉干掉之后来到这儿啊。啊,又形成到另一个。那下面还剩一个啊,还剩一个,剩一个什么呢?Map这个文件。
06:02
那你看一下啊,这里面默认文件是什么名称。叫map菜卖露点。啥意思?哎,模板,模板和样板呢,我们可以基于他去改,那当然了,我们要把这个名字给他改成。模板它去掉啊。我们改之前先看一眼啊,Side。就长这样。其实就是一个他们和文件中间呢,也是这个让你添加这个配置标签退出。之后修改一下名称,怎么修改名称。MV。卖吧,Red。OK。那这个呢,在这。修改一下。等待输入的内容,那我看一看我们要往里面加什么内容。
07:00
呃,这里面呢,要指定MR运行在盐上。那我们看一下它默认值是在什么意思。来这。最重的这回呢,是哪一个文件呢?盐。就卖你忘了啊进。默认是local本地啊。本地运行,那么现在呢,我们要求他在雅上运行,所以说这地方呢,需要对它一个修改,那你看它后面有几个模式啊。啊,这个呢,The,这个框架for,执行这个results can be of local class和。我们比较主流的一个是logo,一个是盐。
08:05
致使的话,所有的配置文件全部完毕,那接下来呢,就是要启动。启动集群呢,原来的我们内部动的和内动的是不是已经启动了。都已经启动了。那下面呢,我们开始启动和。那。怎么起呢?农民在哪里呢?是不是在这里面呢?在这里面是哪一个呢,叫雅。内的和这是什么的呢。Hi度这个是雅安,这都是单节点启动啊好,那我用一下它写出来。SB。门点可以。的。干什么呢?Re。
09:02
Manager。那我起。今天还是炒菜。那我再来。上下键啊。第一。这边是裁判。那么呢,经常依然也起来了。那起来了,我们这个集群能不能正常用呢?来看一下。电脑刷新。感觉目前这个内动的和电动的啊,就是ADS能正常使用,那么它的。E网101。八零。这个又是什么接口呢?这个呢是运行外边都有程序啊,查看这个程序运行的进程啊,在这里面可以看。这是又一个端口808。
10:02
查看M6的,那这个50070呢,是查看HTS的。啊,后面我们会学到很多这些东这些动号啊,为什么反复强调他呢,面试的时候最爱问的就是。道题。你跟我说说啊。你在开发当中。常见的端口号有哪些?分别对应了什么进程?做什么事?这道题呢,其实是非常之简单哈,嗯,但是呢,有的时候你没有总结啊。发慌。回头你们。开拓。本阶段的考试这。不会很轻松。应该在。考过了,你就陪我去。拍多阶段考完,后面还会考,像这个服务卡卡一辈一辈子完事再考啊,SPA完事再考啊。结业之前再考。
11:01
考的全部都是真题,只要你能过。他一切的眼神吧。那这个看一下,目前呢,这里面没有跑任何的排管。大数据,那就no that in the tables啊,没有任何数据在这里面,那下面我跑一个它就有了。音部二部是不是还在啊,我要把它删掉啊。怎么算呢?HDFS,哎,有同学问我说你这个DHDFS和HDS有没有区别?什么区别?你配置了这个拍home是不是就没有任何区别了啊?你配的还多风,我就是可以把它省略在全局的任何地方使用,对吧?啊要没配的话,那你只能在当前。
12:00
这个目录下啊,下面的B目录,这里面是吧?啊,这里面有这个。PS。而且你运行的时候呢,你要用它的话,那你只能在。这下吧。你再换其他路径,你再执行就不行了,比如说退出去,我还是列。BS是不是不行了,没有任何提示啊下。好了再进来。变还是习惯了。第二个还是。我要上传,我要删除是吧,杠号。杠二。有爱的。微博报道。在你的环境下删除是二。啊,加。杠二的递归。这样呢就删除掉了,我们来看一看是否删除掉了啊。刷新。没了之后呢,我们开始进行程序。
13:03
下查看下进程。SB。这样吗?拍多宝。抬头啊,Word。路径要注意腰。爱的规模也不的啊。然后是爱的硅谷,Out。问题吧,这个路径一定是HT上的路径,千万注意。不重看好啊,正大你看有有有有区别了啊。刷新刷新是不是有东西了,我再。看卖个0%,也就是0%对吧。
14:00
好卖个1%就是0%,我刷新。走一半了吧,再过来。还行,那这边是100%,100%是吧,来回来。这里面你看。这就是运行这个MR程序的详细信息。再看一下吧,这个呢是运行这个MR申请的FDID。你说这个作业的ID号。就是你在在这个机型上啊,反复强调它会运行的成百上千的这个任务。那每个job呢?为了方便记忆,它都会给你一个ID。然后呢,这个是当前的用户用什么用户执行的,他的硅谷实行这个程序的名称是。的啊,这个FDA类型的是卖。形式,那这个呢,是队列啊或者分。
15:00
然后这个任务的开始时间结束。当前这个任务的状态。结束状态。最终是运行成功。这个呢,是运行的这个进程啊。那后面有一个。很重要啊,这个历史呢,是记录了整个你这个程序运行的非常详细的信息,包括呃,里面一些日志啊,配置文件啊啊等等。你现在看一点。点过去。空白页面无法访问,原因什么呢?原因你这个服务啊,你没有开。会导致情况,那接下来呢,我们就来配置一下这个历史服务器啊,让它能正常的工作。
我来说两句