Hadoop YARN学习之组件功能简述(3)

Hadoop YARN学习之组件功能简述(3)

1. YARN的三大组件功能简述:

  • ResourceManager(RM)是集群的资源的仲裁者,
    • 它有两部分:一个可插拔的调度器和一个ApplicationManager,用于管理集群中的用户作业。
  • NodeManager,位于每个节点上,管理该节点上用户作业和工作流。
  • ApplicationMaster,用户作业生命周期管理者。
    • 是用户应用程序驻留的地方。

2. 三大组件构成了一个可扩展的、灵活的、高效的环境,来运行各种类型的大数据处理作业。

3. 组件功能协作简述

  • ResourceManager动态的分配特定节点来运行应用程序。
  • Container是绑定到特定集群节点的一组资源逻辑组合(如内存、核)
  • 为了执行和跟踪这些资源分配,ResourceManager与运行在每个节点上的NodeManager进程交互。
  • 基于可扩展性的需求,ResourceManager和NodeManager之间通过心跳来通信。
  • NodeManager负责本地可以资源的监控,故障报告以及Container生命周期的管理(如杀死和启动作业)。ResourceManager依赖NodeManager来维护集群的全局视图。

4. YARN调度组件

  • YARN有一个可插拔的调度器组件,根据不同的使用场景和用户需求,管理员可以选择简单的FIFO(先进先出),Capacity或者Fair Share Schedule。
    • FIFO先进先出
    • Capacity,允许多个组安全地共享一个大规模Hadoop集群。
    • Fair,公平调度器是将资源公平分配给应用的方法,使得所用在平均情况下随着时间的到相等的份额。
      • YARN Fair的新特性支持层次化队列。
    • YARN默认为Capacity调度组件

5. 在YARN中,MapReduce不再是工作流中的一部分,因为它只是一种ApplicationMaster控制的应用程序框架,在YARN环境下,其他框架已经可以使用或者正在开发中。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Albert陈凯

3.5 容错机制及依赖

3.5 容错机制及依赖 一般而言,对于分布式系统,数据集的容错性通常有两种方式: 1)数据检查点(在Spark中对应Checkpoint机制)。 2)记录数据...

41370
来自专栏浪淘沙

SparkStreaming学习笔记

        (*)Spark Streaming是核心Spark API的扩展,可实现可扩展、高吞吐量、可容错的实时数据流处理。数据可以从诸如Kafka,F...

24920
来自专栏Spark学习技巧

Spark设计理念和基本架构

22660
来自专栏我是攻城师

Hadoop之NameNode+ResourceManager高可用原理分析

52270
来自专栏pangguoming

Hadoop视频教程汇总

一 慕课网 1.Hadoop大数据平台架构与实践--基础篇(已学习) 链接:https://www.imooc.com/learn/391 2.Hadoop进阶...

79140
来自专栏美图数据技术团队

Spark on Yarn | Spark,从入门到精通

欢迎阅读美图数据技术团队的「Spark,从入门到精通」系列文章,本系列文章将由浅入深为大家介绍 Spark,从框架入门到底层架构的实现,相信总有一种姿势适合你,...

20010
来自专栏牛肉圆粉不加葱

揭开Spark Streaming神秘面纱⑥ - Spark Streaming结合 Kafka 两种不同的数据接收方式比较

DirectKafkaInputDStream 只在 driver 端接收数据,所以继承了 InputDStream,是没有 receivers 的

8910
来自专栏PPV课数据科学社区

大数据技术Hadoop面试题,看看你能答对多少?

单项选择题 1. 下面哪个程序负责 HDFS 数据存储。 a)NameNode b)Jobtracker c)Datanode d)secondaryNameN...

34440
来自专栏kevindroid

Hadoop Yarn初探

27860
来自专栏java达人

自学Apache Spark博客(节选)

作者:Kumar Chinnakali 译者:java达人 来源:http://dataottam.com/2016/01/10/self-learn-yo...

24990

扫码关注云+社区

领取腾讯云代金券