Hadoop YARN学习之核心概念(2)

Hadoop YARN学习之核心概念(2)

1. Hadoop 2.X YARN引入的新服务

1.1 新的ResourceManager纯碎作为资源调度器,是集群资源的唯一仲裁者; 1.2 用户应用程序(包括MapReduce作业),通过一个新的ApplicationMaster组件请求一定的资源,与Resource协商; 1.3 从而在集群中创建该应用的Container;

2. YARN的引入不会影响Hadoop运行MapReduce作业的能力;YARN提供了使用非MapReduce框架的新能力,为Hadoop生态系统增加了很多新的特性(如SPARK)。

3. YARN三大组件

  • ResourceManager
    • 是纯粹的资源调度器,它根据应用程序的资源请求严格限制系统的可以资源。
  • ApplicationMaster
    • 实际上是一个特定框架库的一个实例,负责与ResourceManager协商资源,并和NodeManager协同工作来执行和监控Container以及它们的资源消耗。
  • Container
    • Container是一种资源分配形式,是ResourceManager为ResourceRequest成功分配资源的结果。
    • Container为应用程序授予在特定主机上使用资源(如内存,CPU)的权利。

4. 资源模型

4.1 YARN被设计成可以允许应用程序(通过ApplicationMaster)以共享的,安全的以及多用户租户的方式使用集群的资源。
4.2  Scheduler会分配一个Container来响应资源需求,用于满足由ApplicationMaster在ResourceRequest中提出的要求:
    <资源名称,优先级,资源需求,Container数>

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏腾讯大数据的专栏

HadoopDoctor——TDW MapReduce诊断系统

前言 TDW是基于Hadoop生态圈研发的大数据处理平台,MapReduce计算引擎在TDW平台中承担了所有的离线数据计算,是TDW最重要的底层支撑平台...

1959
来自专栏james大数据架构

0基础搭建Hadoop大数据处理-初识

  在互联网的世界中数据都是以TB、PB的数量级来增加的,特别是像BAT光每天的日志文件一个盘都不够,更何况是还要基于这些数据进行分析挖掘,更甚者还要实时进行数...

1817
来自专栏斑斓

Apache下流处理项目巡览

我们的产品需要对来自不同数据源的大数据进行采集,从数据源的多样化以及处理数据的低延迟与可伸缩角度考虑,需要选择适合项目的大数据流处理平台。 我最初列出的候选平台...

3146
来自专栏大数据技术学习

一步一步学习大数据:Hadoop 生态系统与场景

到底是业务推动了技术的发展,还是技术推动了业务的发展,这个话题放在什么时候都会惹来一些争议。

370
来自专栏PPV课数据科学社区

Hadoop、Spark、HBase与Redis的适用性讨论

最近在网上又看到有关于Hadoop适用性的讨论[1]。想想今年大数据技术开始由互联网巨头走向中小互联网和传统行业,估计不少人都在考虑各种“纷繁复杂”的大数据技术...

2967
来自专栏hadoop学习笔记

Hadoop体系结构中的服务解决介绍

翻了一下最近一段时间写的分享,DKHadoop发行版本下载、安装、运行环境部署等相关内容几乎都已经写了一遍了。虽然有的地方可能写的不是很详细,个人理解水平有限还...

924
来自专栏Albert陈凯

Apache Spark常见的三大误解

最近几年关于Apache Spark框架的声音是越来越多,而且慢慢地成为大数据领域的主流系统。最近几年Apache Spark和Apache Hadoop的Go...

3186
来自专栏PPV课数据科学社区

Spark Streaming场景应用- Spark Streaming计算模型及监控

摘要 Spark Streaming是一套优秀的实时计算框架。其良好的可扩展性、高吞吐量以及容错机制能够满足我们很多的场景应用。本篇结合我们的应用场景,介结我们...

2706
来自专栏IT派

大数据之Hadoop vs. Spark,如何取舍?

Hadoop在大数据领域享有多年垄断权,随着该领域开始出现新生力量,其统治地位正在逐渐下滑。年初的调查中,Hadoop被列为2018年大数据领域的“渐冻”趋势之...

3588
来自专栏大数据

Hadoop和Spark的异同

解决问题的层面不一样 Hadoop实质上是解决大数据大到无法在一台计算机上进行存储、无法在要求的时间内进行处理的问题,是一个分布式数据基础设施。 HDFS,它将...

1868

扫码关注云+社区