00:00
好啊,还记得上节课啊,我们在运行一个任务的时候发现,嗯,这个进不了,查看它的历史,如果说这个任务界面关掉之后,后续呢,就不能看到这个任务的运行情况,那这里面我们想记录一下这个。数据,哎,这个任务吧,历史运行的一个情况,那我们需要开启一个历史服务器,帮我们去记录这个事情。那行,那这个配置历史服务器啊,非常简单啊,我们只需要来到这个map right set里面加两个参数,第一个参数说map,你这个job history,比如说历史服务器,它配置在哪台服务器上啊,这是内部通讯端口就行了,那还有一个呢,是历史服务器对外暴露的一个接口啊,你记住哈。一个程序运行,它可以有这比如说还度102,它内部与模块,代码与代码之间通讯用的是102,这个10020啊,比如说他跟103之间一个通讯,那么我还有一个呢,用户你说咱们。咱们想看一下这个集群里面,诶任务的历史服务,那是不是得给我暴露一个外部页面啊,那这个页面呢,是19888啊,这几个端口含义啊,要理解一下,所以说我们要配置两个。
01:12
那配置两个Mac red。CD ETC hi doop。Vm map red在进来,进来之后往下找,哎,一定要不要查错了啊好O然后。右键。暂停。搞定,搞定之后,别忘了分发map red。那现在呢,就已经分发完毕了哈,我们退出来。那分发完毕之后,你查看一下,当前我是只启动了name node和d nod,如果你是已经这个雅N启动起来,那你要把雅N关掉,然后重新开启一下OK吧?啊,那这里面我没有启的话,那就直接启一下start眼n.C。
02:04
让它正常启动。好,Or manager启动完毕,Or manner启动完毕,那发现这个。进程,比如说历史服务器的进程并没有启动,那这里面你需要手动的去启动一下啊,启动哪一个呢,叫map red-demomon,杠DEMO呢是启动这个守护进程啊的一个含义啊,或者说你可以认为在后台启动啊。然后呢,历史附近的叫history server,这是启动命令。啊,那我们执行一下,那map这个命令在哪里啊。那你们看一眼啊。看到了吗?啊,是他啊。啊,那我们就用b map red,嗯,然后呢,这里面。嗯。吧。
03:01
Gun start。GPS对吧,这里面就多了一个进程job serve,好,那下面呢,我们再来运行一个任务啊,我看一下这里面有没有了啊。这里面输入数据是不都没有啊,这time是临时数据啊。那么快速的把这个数据准备好啊。那还wi s-maker啊,然后呢?Hi do FS杠,Put。Put,这里面有个WC input。上传到input中。很快啊,像这些命令啊,大家一定要熟啊,呃,还多牌架包,呃,赛尔。豆腐。MAP6HIOP一个张,然后呢,Word。Word count。Input。
04:01
下一个。二的走。执行。对吧,哎,正在运行,那正在运行,这期间我们把这个它开启刷新。对吧,哎,这里面就有一个任务正在运行。等着吧,等他运行完吧啊。Map reduce。Map阶段已经完毕,那接下来进行阶段。那好,那执行任务执行完了之后呢,我刷新一下。那这里面有一个历史服务器,上次我们点的时候啊,它跳转不过来,那这时我们再点。你看现在就已经跳到了还多1021988这个页面,我就能看到这个服务器这个数啊,这个任务运行的相关情况啊,有map,这就是还有呢,你看这个任务运行的时候,它的配置参数是什么。这里面有一个conviction,看到没conviction,那你看吧,哎,各个参数。
05:00
很多啊,很多参数的值是什么,然后也可以看一下map task对吧?哎,什么时间啊,什么时间开始的,什么时间结束的。Radio什么时间开始,什么时间结束?都可以进行一个查看哈,Overview这是从整体上进行一个运行,什么时间运行呢。对吧,哎,这个就是历史服务器的一个功能。
我来说两句