00:00
好,接下来我们来看一下雅安的调度器和调度算法。那什么叫调度器呢?我们来回顾一下这个雅安工作机制,还记得这个位置吗?也就说呀,多个客户端向这个集群提交任务,那这个任务一多了。那集群怎么办呢?它会把把它放到一个任务队列里面,由这个任务队列来管理这里面多个任务,那管理它什么?那管理的是首先哪一个任务先执行。对吧,还有每个任务分配多少资源。那我有几个并发的任务可以同时执行呢?哎,等等,这些事情都由调度器来解决。那回来我们来看一下哈,那high多的作业调度器啊,一共有三种,分别是FIFA,叫first in first out,先进先出。第二种呢,叫容量调度器。还有一个呢,叫公平调度器,这么三种调度器,那hi默认的调度器是哪一种呢?
01:00
容量到期,哎,这里面不准确啊,准确来说呢,应该叫帕奇。APAC,嗯。阿帕奇hi杜3.13默认调度器始容量。那跟谁有区别呢?如果说你是CDH啊。CDH。框架。默认。调度器是谁呢?是公平调度器,就是它。这要注意后面我们在学CDH的时候,那这时候你要有印象了啊,它就不是默认是容量了,那么首先来看一下阿帕奇,它是不是容量。打开CTRLF搜索。看一下。对吧,哎,默认的调度器呢,是容量调度器啊,这地方一定要注意啊,因为在企业里面啊,有部分公司它用的确实是CHCH。这是第一件事儿解决掉了。那接下来我们来看。
02:00
第一个调速器,调速器。呢叫first in first out,它属于单列。哎,也就就一个队列。那根据提交任务的先后顺序,先来的先服务。对吧,哎,这个呃,就相当于啊,你去这个车站买票。对吧,排了一个长长的一个队伍。那谁先来,我是不是优先给谁发票啊,哎,是这样的过程哈,那好,那下面我们来看一下啊。假如说呢,这是有一个队列啊,相当于是站牌,哎,一个排队,排队呢,首先第一个人啊,站着排在第一号了,那后面呢,又站了23456啊六个人对吧,这么多人。那行,那这时候说有票了,嗯,可以抢票了,那抢票的时候,那谁先购买呀,那肯定是赵博一对吧,第一个人先买,那第一个人买他呀,他一个人呢,帮他这个,呃,帮他爸帮他妈对吧?哎,帮他姑娘帮他儿子,哎买四张票,然后呢,他还要帮他亲戚啊,帮他这个,呃,叔叔阿姨。
03:03
一人再买一张票是这样一个情况,那假如说哈,我这面新来的票只有四张,别四张了,只有三张。只有三张票,那他怎么购买呢?如果只来三张票,他会先发给,比如说他发对吧,给这三人,他们三人先运行着,等他们运行完毕之后,那再有票那给他发,再有资源给他发。诶这样一套过程哈,好,那我在发他在这个买票的过程当中,其他人能买吗。不能,哎,只能等待,直到第一个人购买完毕才可以。那接下来继续好,那这个分配一个,呃,泰测给该节点啊,这个是正常情况下对吧,我这个只我只要买到票之后,我就可以这个上车啊,现在是上车等待了,把这个任务跑起来。这就是FIFA队列啊,先进先出,那在生产环境下会不会用这个FIFA调度器呢?不会啊,因为你想咱们是大数据开发场景,是不是追求的是任务的高并发呀。
04:05
对吧,那你看我现在这个就一个人就把整个这个任务全卡死了,其他人都不能跑。那是不是不合适啊?所以说这个呢,只是一个,呃,学习性的一个了解哈。
我来说两句