00:00
好,那汉武王SPA的环境没有问题之后,那我们这个雅还需要再配置一个参数,那咱们要配置参数是什么,我们要调整的是什么东西呢?来看一下。啊,我们需要增加application master资源比例,那什么叫做application master资源比例呢?啊,给大家简单解释一下啊,实际上我们雅安当中有一个调度器的概念,对吧?那一共有三个类型,一个是呃,Fio first in first out这样一个调度器,对吧?是不是还有一个capacity容量调度器啊,还有一个fair公平调度器啊,没错吧,那当然默认情况下咱们这个调度器使用的就是容量调度器。是这样的啊,然后在容调度当中呢,当中application占用的资源进行限制。啊,这个资源队列大家应该还记得是啥吧?啊,在容量调度器当中,我们是不是这个,呃,资源的分配是有一个队列的概念啊,对吧?啊好,那容量调度器呢,会对每个资源队列当中同时运行的application master的这个占比进行限制。
01:14
啊,那这个限制它通过谁限制了呢?它是通过这个参数限制的啊,那这个参数默认是0.1,那什么意思呢?就表示每个资源队列上边的application master最多可以使用的资源为该队列总资源的10%。啊,那其实可以思考一下啊,为什么容量调度器会去限制application master占用的资源呢?其实道理很简单啊,那我们试想一个这样的情况啊,假如说我们不做限制啊,不做限制,那这时候呢,我们同一时刻往雅安的某个资源队列上边提交了大量的这个任务啊,那这些任务是不是每个任务都会有一个,呃,Container去运行application master啊,对吧?那假如说那这个队列上面的所有的资源都被application master占用了。
02:05
那如果都被他占用了之后,那你说我还有空余的资源去跑map或reduce task吗?是不是就没有了?那没有的话,那是不是这些任务就结束不了,那这些任务结束不了,他们的资源是不是就永远不会释放,那不释放,那是不是就没有资源去跑MAP6?没错吧,那所以说就会导致一个这样尴尬的境地啊,那所以说为了保证我们这个资源能够被合理的使用,那所以说那个容量调度器呢,对application master占用的资源进行了限制。啊,那实际上啊,在生产环境当中,哎,该数我们使用默认值就可以了啊,就说每个队列提供10%的资源去运行application master的都用来,但是在咱们这个习由我们集数比较,如果说我们只分配10%的资源给application master,那就可能会出现我们整个集群同一时刻同时只能运行一个job的情况,也就咱们这个任务的并行度可能就会比较低啊,因为只分配一个application master,那我们所使用的资源是不是就有可能已经达到10%的上限了呀,对吧?那所以说为了保证我们这个集群能够同时运行多个任务啊,在这儿呢,呃,我们将这个值适当的调大一点啊,调大一点咱们可以调整到80%啊,是这样的啊,那这个参数我们呃去哪里调整呢?注意啊,这个参数咱们要调整的是容量调度器的配置文件啊,那它哪个路径。
03:35
OK,那现在我们打开这个文件,然后去修改一下这个参数,那现在我们进到。OPT modelle hi doop ETC hi do吧,然后找到容量调度器的配置文件。然后往下翻,其实第二一个参数就是我们要修改的参数啊好,那现在我们打开。
04:02
打开,呃,我们摁一下这个I啊,那I之后呢,我们给它改成0.8,然后呢,Shift zz保存并关闭这个文件,那当然呢,修改文件之后呢,我们需要对其进行这个分发啊,咱们分发一下这个capacity schedule.sml文件。OK,那这个文件分发之后,呃,要想生效,那咱是不是得重新启动一下这个雅安呀,对吧?那当然在重新启动之前,我们先看一下现在的情况啊,咱们打开这个呃,雅安的8088界面,然后呢,我们找到这个位置,这儿是不是有一个schedule,这是不是就调度器啊,对吧?咱们点进来,点下来之后呢,我们注意观察一下,这里边就是我们现在集群当中默认的队列,现在只有一个根节点,根节点下边只有一个default队列,对吧?那咱们点开这个default队列,点开之后呢,你会发现啊,这里边儿其实有一个参数,大家看一下。是不是IG的max application master对吧?这其实就是我们application master占用资的上限,对吧,那目前是10%啊,那现在我们已经把参数修改了,然后之后我们重新启动一下这个雅安集群啊,我们先停一下stop雅点SH。
05:12
那一会儿重新启动之后呢,再去看一下那个参数有没有变化啊好,那我们现在再给它提起来带的也按点SH。好,我们打开这个界面,稍微等一下啊。啊,目前还没有启动成功啊,我们稍微等一下。好,现在应该是已经启动起来了啊,那现在我们再点开这个界面,大家来注意观察一下这个位置。是不是已经变成80了呀,对吧,那就说明我们的修改已经生效了啊,是这样的啊好,那这个参数咱们调整一下就行了,然后这边大家呃,需要注意的是什么啊,就是这个参数啊,在生产环境下,我们实际上是可以不调整的,那在这儿呃,只是因为我们的学习环境使用的是呃虚拟机,然后呢,这个集群资源总数相对比较少啊,那所以说我们才需要去调整一下这个参数啊,这块大家注意一下就行了。
我来说两句