温馨提示:文本由机器自动转译,部分词句存在误差,以视频为准
00:00
好,接下来呢,我们来看一下配置历史服务器,那这个呢,我们并不陌生,在讲开头的时候也讲过啊,其实配置历史服务器的原因啊,非常简单,就是我们想查看历史任务的一个运行情况。比如说以前运行的任务,它的参数是什么?有多少个ma,有多少个reduce task,当时运行的内存是多少?哎,等等这些参数我想进行一个回看。那你就得把需要需要的这个日志啊,哎,备份到历史服务器上,哎,方便我后续的一个查看,那怎么配置呢?非常简单,只需要在这个map right set里面配置如下两个参数就可以了啊,一个呢,是历史服器内部的一个通讯端口啊,我们配置在102上。那还有一个呢,是历史服器,诶在web页面上啊,方便客户访问的一个端口,那这里呢,就是19888啊OK哈,那这里面配一下。不是。VM。Map red set啊,进来。
01:02
O。来搞定,搞定之后别忘了分发SSY c map right set啊中。好,现在呢,就已经分发完毕了,那接下来我们来看下一个哈。下一个呢,是配置日志聚集功能,那为什么要配置日志聚集功能呢?在思考的问题哈,呃,我这个运行一个word count程序,它里面有map task,而且还有多个。对吧,而且呢,还有对应的这个reduce t,那好,那么其中一个map test有可能运行在102上,其他任务运行在103104105。那么每一个自己的这个服务器上都会记录相关的日志,对吧,有订单日志。那么你每一个节点是不是只能看到自己的?那我想看到其他的这个节点的运行情况,或者我统一有一个啊服务器来帮我收集对应的所有的服务器上运行的日志,那怎么办呢?那就需要开启一个日志聚集功能,那你把102103104,哎,所有运行的日志都放在统一的一个HDFS。
02:14
那么任何一个节点都能够访问对应的as,获取对应的日志,哎,这个呢,就是日志聚集的一个好处哈,那好,那下面呢,我们配一下非常简单,那第一个参数呢,叫开启日志聚集功能啊,把它生成处,那下面这呢是设置日志聚集的一个服务器,于是你把它聚集到哪台服务器上,那我们这里面呢,聚集到的是102。OK,还有呢,这个日志啊,你保留多久啊,那我这里面呢,设置的是保留七天好吧,那好把这个三个参数啊复制过来。然后呢,配置到这个雅n site里面哈,啊雅赛。M加NS。这个地方一定要注意啊O啊插入模式。
03:01
粘贴。然后呢,进行分发点N。啊,那现在啊,这个日志聚集功能和对应的这个服务器历史服务器这个功能啊,都已经配置好了啊,那下面的话呢,啊,我们进行启动嗨多集群相关的一个操作。
我来说两句