专栏首页java架构师Hadoop总结篇之二--yarn的概况

Hadoop总结篇之二--yarn的概况

在弄清楚yarn是什么之前,先来看一下MRv1。

它的由编程模型+数据处理引擎(map/reduceTask)+运行时环境组成(JobTracker/TaskTracker)。其中JobTracker存在很多问题,如下:

1、JobTracker本身承担了调度和计算的任务,太累了

2、JobTracker是单点的,不好扩展不能支持其他计算框架,还有单点故障风险

3、资源是以槽位的方式来调度。粗粒度,不合理。比如提交了一个特别占用资源的任务,整个节点就被占用了。还有map阶段往往reduce槽位就是闲置,反之也是这样。

针对以上问题,MRv2做了以下优化:

1、拆分为资源调度和作业管理两个独立的服务。

2、可以部署集群,可以在yarn上运行其他框架(比如内存计算、流式计算)

3、资源的管理方式是Container,他是一组硬件资源(内存、cpu)等的集合。控制的更细粒度。

这样,新版MRv2,的组成为:编程模型+数据处理引擎(map/reduceTask)+运行时环境组成(yarn),前两者基本实现原理不变。

yarn的概念呼之欲出:

YARN 是Hadoop 2.0 中的资源管理系统,它是一个通用的资源管理模块,可为各类应 用程序进行资源管理和调度。

1、管理系统资源(ResourceManager)

2、管理作业(监控、容错)(ApplicationMaster)

YARN 不仅限于MapReduce 一种框架使用,也可以供其他框架使用。

yarn都包含哪些基本模块呢?

1、ResourceManager(RM) 全局资源管理器。负责资源的管理和分配。

2、ApplicationMaster(AM)应用程序主管,每一个作业对应一个。协调资源,分配任务,与NM通信启动任务,监控任务等。

3、NodeManager(NM)各个节点上的资源管理器。它有两个作用,监控本机资源使用情况汇报到RM;接收来自AM的Container启动/停止等指令

4、Container逻辑意义上的资源隔离机制。

其中,RM有两个主要组成模块:

1、Scheduler调度器

2、ApplicationManager应用程序管理器,作用是接收作业->向Scheduler请求资源(Container)分配给AM->启动AM->监控AM->容错AM。

 学习yarn,主要应该从以下几个类入手:

Job,ResourceManager,NodeManager,MRAPPMaster,YarnClient,MapTask,ReduceTask

其中ResourceManager,NodeManager,MRAPPMaster是类似的实现机制。都是服务模型,都是事件监听机制。如下图:

本篇主要介绍了yarn的组成模块,下一篇将从代码级别分析一个job提交过程。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Hadoop学习14--Hadoop之一点点理解yarn

    yarn是一个分布式的资源管理系统。 它诞生的原因是原来的MapReduce框架的一些不足: 1、JobTracker单点故障隐患 2、JobTracker承担...

    小端
  • 【学习底层原理系列】重读spring源码1-建立基本的认知模型

    从0-1的过程,是建立在自己已有认知基础上,去用自己熟悉的方式构建一件作品。也就是说,

    小端
  • 解决ASP.NET中的各种乱码问题

    在一个网站中,有些页面会正常显示,然而,有些页面会显示成乱码。 如果发生这种情况,可以检查一下web.config和文件编码。

    小端
  • LeetCode 297:二叉树的序列化与反序列化 Serialize and Deserialize Binary Tree

    序列化是将一个数据结构或者对象转换为连续的比特位的操作,进而可以将转换后的数据存储在一个文件或者内存中,同时也可以通过网络传输到另一个计算机环境,采取相反方式重...

    爱写bug
  • 服务质量分析:腾讯会议&腾讯云Elasticsearch玩出了怎样的新操作?

    腾讯会议于2019年12月底上线,两个月内日活突破1000万,被广泛应用于疫情防控会议、远程办公、师生远程授课等场景,为疫情期间的复工复产提供了重要的远程沟通工...

    腾讯云ES团队
  • 我国入境游市场稳步增长 出境游市场大幅提升 | 每周文旅资讯精选(7.29-8.4)

    ? ? 我国入境游市场稳步增长 出境游市场大幅提升 8月1日下午,2019年上半年旅游经济运行研究成果暨出境旅游发展报告发布会在京举行,会上发布关于《2019...

    腾讯文旅
  • 服务质量分析:腾讯会议&腾讯云Elasticsearch玩出了怎样的新操作?

    从1月29日起,为了应对疫情下远程办公的需求,腾讯会议每天都在进行资源扩容,日均扩容云主机接近1.5万台,8天总共扩容超过10万台云主机,共涉及超百万核的计算资...

    腾小云
  • React基础(3)-不可不知的JSX

    以上问题即使自己很清楚,但是否有时却总是道不清,说不明?那么读完本文,就豁然开朗了

    itclanCoder
  • 2019年度区块链安全复盘总结

    如果说2018年,我们做区块链安全拥有了“上帝视角”,那过去的2019年,我们则收获了“圣母心态”。

    区块链大本营
  • 3个范例带你读懂贝叶斯法则

    贝叶斯法则可能是概率论中最有生命力的一个公式。它可以用来计算条件概率或者主观概率。

    lyhue1991

扫码关注云+社区

领取腾讯云代金券