【Yarn】分布式资源管理框架Yarn

分布式资源管理框架Yarn

诞生背景

在Hadoop 1.x中，是没有Yarn这个分布式资源管理框架的，它在Hadoop 2.x中首次推出。它诞生的原因其实很简单，就是Hadoop 1.x中的架构存在一些问题。

Hadoop 1.x中包括HDFS和MapReduce。其中MapReduce身兼两职，它既是计算框架，又是资源管理框架。

img

它的架构是主从架构，其中Job Tracker为主节点，Task Tracker为从节点。

但Job Tracker既做资源管理，又做任务调度，负载太大。Client（客户端）向Job Tracker提交Job（作业），Job Tracker首先为提交的Job在从节点Task Tracker上分配资源，之后便将Job拆分为Task调度到Task Tracker中运行，而这些Task运行过程中的状态会实时向Job Tracker汇报，由Job Tracker来进行作业管理。

现在看来，作业的提交和运行流程也没有什么问题；但是在大型集群中，大量的Job被提交，会生成成百上千个Task，这些Task的资源分配和作业管理全都交由Job Tracker来进行，负载极大，会造成性能瓶颈。

而且在Hadoop 1.x中，没有实现集群高可用，所以Job Tracker存在单点故障，在这种架构下更容易出现问题。

其次，