大数据学习~Hadoop初识三Yarn模式

在上篇文章中我们简单的学习了HDFS简单架构,还有最重要的读写流程。我们都知道在如今的Hadoop中主要有三个重要的执行管理器。一个HDFS,一个MapReduce,还有就是我们今天要看的 YARN。

2.0以前的Hadoop

在2.0以前的hadoop中是没有Yarn这个模式管理的。大部分都是独自作战。Hbase做自己的,Spark也是做自己的,等等。这样的话就会造成资源的浪费,不能充分的把资源给利用上。特别是在1.x的版本上容易出现单点故障,不容易扩展的情况。

  1. 在这里Client的请求都会通过1个JobTracker来分发任务,如果我们的这个JobTracker出现异常。整个集群就没法参与正常工作。
  2. 在JobTracker 过多的TaskScheduler 集中过来,容易造成内存,cpu不够用的情况。增加了任务执行失败的风险。

因为这些情况,随着发展,Hadoop需要更新的一代管理引擎来帮助我们管理集群-YARN引擎

在2.0的YARN

在新的业务驱动下,发展起来的YARN替代原先的模式。将原先浪费的资源进行合并,共同管理建立在一个模式管理下

新的YARN模式如下

1. 从图中我们可以看到 原先的JobTracker 被拆分成 资源管理和任务调度监控。

2. 我们来看下如今的架构

  • ResourceManager : 在集群中提供资源的统一管理和调度。并且接收来自客户端的请求。同时不停的接收来自 DataNode上的心跳信息。并且对集群进行管理。
  • NodeManager :
  1. 在整个集群中会有多个该节点。主要用来维护自己节点上资源的管理和使用。
  2. 定时向ResourceManager 汇报自己资源的使用情况。并且 接收来自ResourceManager 各种命令
  3. 启动我们在图中看到的ApplicationMaster.
  • ApplicationMaster :
  1. 该ApplicationMaster 对应我们提交的程序,该程序可以来自Spark,Hbase , MapReduce.该master向管理器YARN申请资源。然后供应用程序使用。
  2. 分配任务给接下来的Container 。包含启动,停止任务。
  • Container
  1. 封装了CPU ,Memory 等资源的容器。
  • Client
  1. 通过client来提交任务,进行任务的开始与结束。并且查询任务的执行进度等情况。

了解了这几个功能名称的作用,我们来看下整个任务执行流程是怎么样的。

  1. 从Client端发送一个 请求到我们的ResourceManager 上。其中内容应该包含ApplicationMaster,ApplicationMaster的启动命令。本身应用程序的内容。
  2. ResourceManager 分配任务到NodeManager上
  3. NodeManager根据配置信息进行处理启动ApplicationMaster 。
  4. 注册到ResourceManager,并且申请到资源返回到我们的ApplicationMaster 上。
  5. 根据申请到的资源注册到NodeManger上。
  6. NodeManager 启动对应的Container上。在这之间会通过心跳进行任务汇报。然后任务汇报后。进行任务管理。

总结

整个yarn的流程和新的结构大概就是如此。新模式解决了原先的单点问题。并且挺高了高可用性和扩展性。一套集群环境就能供多个应用程序使用。YARN模式帮助我们解决掉了资源管理的问题,程序员关注业务开发即可。

原文发布于微信公众号 - LuckQI(YoungRUIQ)

原文发表时间:2018-06-22

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏祝威廉

Spark Streaming 数据接收优化

看这篇文章前,请先移步Spark Streaming 数据产生与导入相关的内存分析, 文章重点讲的是从Kafka消费到数据进入BlockManager的这条线路...

911
来自专栏鸿的学习笔记

hadoop系统概览(三)

大数据不可避免地需要在计算机集群上进行分布式并行计算。因此,我们需要一个分布式数据操作系统来管理各种资源,数据和计算任务。今天,Apache Hadoop是现有...

871
来自专栏AILearning

Apache Spark 2.2.0 中文文档 - 概述 | ApacheCN

Spark 概述 Apache Spark 是一个快速的, 多用途的集群计算系统。 它提供了 Java, Scala, Python 和 R 的高级 API...

2689
来自专栏Spark学习技巧

Spark Structured Streaming的高效处理-RunOnceTrigger

传统意义上,当人们想到流处理时,诸如”实时”,”24*7”或者”always on”之类的词语就会浮现在脑海中。生产中可能会遇到这种情况,数据仅仅会在固定间隔到...

2648
来自专栏pangguoming

Hadoop视频教程汇总

一 慕课网 1.Hadoop大数据平台架构与实践--基础篇(已学习) 链接:https://www.imooc.com/learn/391 2.Hadoop进阶...

6574
来自专栏IT派

10分钟大数据Hadoop基础入门

目前人工智能和大数据火热,使用的场景也越来越广,日常开发中前端同学也逐渐接触了更多与大数据相关的开发需求。因此对大数据知识也有必要进行一些学习理解。

1084
来自专栏华章科技

大数据技术Hadoop面试题,看看你能答对多少?答案在后面

a)NameNode b)Jobtracker c)Datanode d)secondaryNameNode e)tasktracker

1052
来自专栏企鹅号快讯

大数据入门基础系列之浅谈Hive和HBase的区别

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。 在前面的博文里,我已经介绍了 Hive和HBase分别是什么? Apache Hive是一个构建...

2116
来自专栏进击的程序猿

实战:基于 docker 的 HA-hadoop 集群搭建

Hadoop的master和slave分别运行在不同的Docker容器中,其中hadoop-master容器中运行NameNode和ResourceManage...

6682
来自专栏Hadoop实操

Cloudera产品支持生命周期策略

本文主要介绍Cloudera企业版产品支持的生命周期,包括CDH每个版本终止支持的预计日期。了解该策略主要是方便大家在规划搭建/升级CDH集群时的版本选择,不代...

1883

扫码关注云+社区