温馨提示:文本由机器自动转译,部分词句存在误差,以视频为准
00:00
那现在我把这个集群分发重新启动,那其实就能跑起来了,在我们这儿呢,还得做一些额外的配置,比如说配一下我们的历史服务器和雅安的日志聚集功能,那历史服务器呢,我们要配是配在哪台机,配在哪个文件里边啊,历史服务器是不是应该是ma reduce任务的历史服务器啊,所以说你配在Mac set里边啊。MY,好,那进来之后找个地方给它扔进来就行了,好两参数,呃,一个参数呢,是历史服务器的这个,呃,什么地址啊,这个相当于是这也是RPC地址,RPC地址那下边呢,这个是什么呢?是它的外部端口号19888啊都是哪个节点,都是102,那大家要记住啊,你的历史服务器这块指明哪个节点,那你后续启动的时候就得在哪台节点去启,对吧?啊,这个大家得记住啊,这是map right啊,这个改完了,然后下一个日志聚集功能,那首先回忆一下这个所谓的日志聚集功能指的是什么呀。指的是什么呀?啊,实际上这样的啊,就是正常我们来一个MR对吧,一个MR呢,需要提交到雅安上,雅安需要把你的MR分成多个task,交给不同的node manager去执行,对吧,也就实际上跑任务是在什么上面跑的。
01:10
就是在每一台node manager节点上去跑的,对不对,那你在跑的过程当中是不是会打印一些日志啊,那日志默认是保存在什么地方呢?保存在每一台note manager的本地路径上面了,本地磁盘文件上了,能理解吧?那这个所谓的日志聚集功能就是啥?就是把每个note manager上面的你本地的那些日志文件收集起来,放在哪儿。放到哪,放到HTS上对不对,那这样一来我就能够通过咱们历史服务器的外部页面去读取咱们所有的这个任务的这个日志了,啊是这样的它呃,历史服务器的请求的是HTS啊,实际上是这样的一个过程啊,这就是所谓的日志聚集功能,就在把它收集起来,放到HTS进行统一的存储啊好,那现在咱们把这个给它保存一下,给他给他给它改一下啊,来把这几个参数粘一下啊,看能谁这要改的是谁改的是雅安S对吧,因为叫做雅安的日志聚集功能嘛,来雅安然后呢下。
02:09
好找地方给它扔进来,放进来回来之后呢,看一下这几个参数啊,然第一个参数就是开启日志聚聚集功能啊开启啊,然后下面呢,是咱们呃,日志聚集服务器的地址啊,海度102啊,这个987的访问的就是这个路径啊,然后下边看下这个位置,这个是什么呢?是咱们因为你注日志文件是不是要放在H3S对不对,那它这呢,相当是有一个保留的天数,诶保留七天,那七天之前呢就会自动删掉啊好,那这个完了之后咱们shift z。行,那到目前为止我们所有的配置文件呢,就算是真正的配完了啊这。
我来说两句