00:00
好,接下来我们来看一下啊,雅安资源调度器哈,首先呢,大家思考一个问题说啊,这里面有一台集群。看到吗?哎,这么多台服务器,可以说成千上万台,那首先思考第一个问题,说如何来管理这些集群资源。你看这服务器往这一放。那你怎么让他工作呀?对吧,哎,这是一个事儿,还有那如何来给任务合理的分配资源。比如说我提交了一个MR程序。那我这MR程序给谁?这里面几十万台服务器呢?我到底给谁呀?是这样吗?啊一个呢,是你这些台服务器如何来进行统一的联动,那还有那我把这任务提交上来之后,我具体分配到哪台机器上。那你要没有雅恩,那就解决不了这个事情,有了雅恩就轻而易举的搞定这件事。那首先来看雅安呢,是一个资源调度平台。他负责为运算程序提供服务的运算资源。他告诉你是哪去运行去对不对,相当于是一个分布式的操作系统。
01:03
而等运算程序相当于运行在这个操作系统上的应用系统应用程序。哎,我这是一个平台,那你MR呢,可以在我这里面尽情的运行,我这是一个雅是吧,延安平台。既负责资源的调度,哎,又负责这个,哎,让你告诉他你这个任务在哪个节点上执行更合理。行,这是雅,为什么要有啊,负责集群的资源管理和合理的资源的一个分配。那再来那雅N里面它有哪些主件呢。之前咱们讲过,说有manager,有not manager,还有呃,这个contain,还有application master这么四个组件,是这样吗?行,那下面我们再来稍微回顾一下哈。第一个resource manager,他主要负责什么事呢?最开始我们入门的时候讲的resource manager是整个集群资源的老大。对吧,那你稍微再细一点,就是第一个事情处理处理客户端的请求,那你这边有客户端跟我进行请求,说我要提交一个任务。
02:07
那谁来接客呢,Manager?那同时他还要监控这个note manager运营情况,因为他是整个集群之间的老大,那你这里面任何一个小弟都得跟我汇报。监控你们的运行情况,哪一个这个小弟资源紧张了是吧?哎,那我就把这个你的资源,把你这个任务啊,分给别人一点啊,由他来控制。那再来启动和监控I master。那比如说我提交了一个MR程序,这里面启动了一个mrp master。那你启动它之后。那我负责你这个APP master的任务的一个监控,因为比如说你这里面有一个任务挂了对吧?哎,那我可以把你分配给其他节点。啊,我可以监控你的运行情况,再来还可以资源的分配和调度,这已经说了啊,任何一个节点资源紧张他都非常清楚,那我可以把这个紧张的任务发给这个比较闲的节点上。
03:04
再来。Note manager note manager叫单节点,就是单台服务器资源调度了。他管理单个节点资源,那他还干别的事不,他还处理result manager发来的请求,诶,老大让他干什么,他在干什么?还有呢,处理这个APP click master发送的命令,因为我这个任务要运行的时候,他会跟他去申请资源,申请完之候,他具体的还得在note manager节点上进行运行啊,那它俩之间得相互进行一个交互。OK,再来。下面呢,Master,比如说这个任务的老大,比如说这个业的老大,他又负责什么事呢?首先他要跟这个resource manager申请支援。对吧,哎,那申请就一定给吗?那他得看他的资源情况,哎,选择性的给他对应的资源。对吧,同时呢,他还负责任务的监控和容错。
04:01
他会监控着下面这几个小弟,Map task task。那比如说他挂了,他挂了之后怎么办?说这个节点已经挂了,他会跟他申请说这个节点挂了,那你再给我申请一个容器,比如说开辟到这,在这个容器里面运行这个map test。哎,他是承担这个角色哈,他可以监控下面自己的小弟的运行情况。再来。Container,那container呢,就是这里面一个一个的容器,那每一个容器里面都包含着内存,CPU磁盘,网络磁盘啊网络这个情况。哎,相当于是一台小电脑。OK。啊,那这就是这个雅安的一个架构组成啊,那如果简单记的话,仍然是这是整个集群资源的老大,单节点资源的老大,这是每一个作业任务的老大,这呢是相应的容器。对吧,好。这是盐的组成。
我来说两句