Hadoop YARN学习之核心概念(2)

Hadoop YARN学习之核心概念(2)

1. Hadoop 2.X YARN引入的新服务

1.1 新的ResourceManager纯碎作为资源调度器,是集群资源的唯一仲裁者; 1.2 用户应用程序(包括MapReduce作业),通过一个新的ApplicationMaster组件请求一定的资源,与Resource协商; 1.3 从而在集群中创建该应用的Container;

2. YARN的引入不会影响Hadoop运行MapReduce作业的能力;YARN提供了使用非MapReduce框架的新能力,为Hadoop生态系统增加了很多新的特性(如SPARK)。

3. YARN三大组件

  • ResourceManager
    • 是纯粹的资源调度器,它根据应用程序的资源请求严格限制系统的可以资源。
  • ApplicationMaster
    • 实际上是一个特定框架库的一个实例,负责与ResourceManager协商资源,并和NodeManager协同工作来执行和监控Container以及它们的资源消耗。
  • Container
    • Container是一种资源分配形式,是ResourceManager为ResourceRequest成功分配资源的结果。
    • Container为应用程序授予在特定主机上使用资源(如内存,CPU)的权利。

4. 资源模型

4.1 YARN被设计成可以允许应用程序(通过ApplicationMaster)以共享的,安全的以及多用户租户的方式使用集群的资源。
4.2  Scheduler会分配一个Container来响应资源需求,用于满足由ApplicationMaster在ResourceRequest中提出的要求:
    <资源名称,优先级,资源需求,Container数>

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Albert陈凯

1.1.3 Spark架构与单机分布式系统架构对比

传统的单机系统,虽然可以多核共享内存、磁盘等资源,但是当计算与存储能力无法满足大规模数据处理的需要时,面对自身CPU与存储无法扩展的先天限制,单机系统就力不从心...

3785
来自专栏Albert陈凯

课程主要内容Spark介绍

我们学习Spark首先要知道Spark是什么 ? image.png 这段内容呢,是老师从官网上摘抄下来的,Spark是一个快速的统一的大数据处理引擎 Spar...

3044
来自专栏Spark学习技巧

关于Spark Streaming感知kafka动态分区的问题

本文主要是讲解Spark Streaming与kafka结合的新增分区检测的问题。读本文前关于kafka与Spark Streaming结合问题请参考下面两篇文...

1084
来自专栏Hadoop实操

HOSTS配置问题导致集群异常故障分析

CM节点上的所有服务的角色日志不能正常通过ClouderaManager控制台查看,显示如下错误:

4229
来自专栏编程

大数据干货系列(六)-Spark总结

本文共计1611字,预计阅读时长八分钟 Spark总结 一、本质 Spark是一个分布式的计算框架,是下一代的MapReduce,扩展了MR的数据处理流程 二、...

1925
来自专栏恰同学骚年

Hadoop学习笔记—21.Hadoop2的改进内容简介

Hadoop2相比较于Hadoop1.x来说,HDFS的架构与MapReduce的都有较大的变化,且速度上和可用性上都有了很大的提高,Hadoop2中有两个重要...

762
来自专栏IT技术精选文摘

Apache Hadoop入门

介绍 本文要介绍的Apache Hadoop是一个使用简单高级编程模型实现的对大型数据集进行分布式存储和处理的软件框架。文章涵盖了Hadoop最重要的概念,对其...

2515
来自专栏大数据

Spark Streaming入门

本文将帮助您使用基于HBase的Apache Spark Streaming。Spark Streaming是Spark API核心的一个扩展,支持连续的数据流...

6319
来自专栏算法channel

hadoop|计算框架从MapReduce1.0到Yarn

01 — HDFS 前面介绍了hadoop的分布式存储框架(HDFS),这个框架解决了大数据存储的问题,这是第一步。知道海量数据如何存储后,脚步不能停留,下一步...

3606
来自专栏编程

Spark踩坑记:Spark Streaming+kafka应用及调优

作者:肖力涛 前言 在WeTest舆情项目中,需要对每天千万级的游戏评论信息进行词频统计,在生产者一端,我们将数据按照每天的拉取时间存入了Kafka当中,而在消...

2025

扫码关注云+社区