Hadoop五个进程的作用和联系

1.NameNode:

    相当于一个领导者,负责调度 ,比如你需要存一个1280m的文件

    如果按照128m分块 那么namenode就会把这10个块(这里不考虑副本)

    分配到集群中的datanode上并记录对于关系 。当你要下载这个文件的时    候namenode就知道在那些节点上给你取这些数据了。它主要维护两个    map 一个是文件到块的对应关系 一个是块到节点的对应关系。

2. secondarynamenode:     它是namenode的一个快照,会根据configuration中设置的值来     决定多少时间周期性的去cp一下namenode,记录namenode中     的metadata及其它数据     3. NodeManager(NM):     是YARN中每个节点上的代理,它管理Hadoop集群中单个计算节点     包括与ResourceManger保持通信,监督Container的生命周期管理,     监控每个Container的资源使用(内存、CPU等)情况,追踪节点健     康状况,管理日志和不同应用程序用到的附属服务(auxiliary service)

4.DataNode:       a.DataNode的需要完成的首要任务是K-V存储       b.完成和namenode 通信 ,这个通过IPC 心跳连接实现。          此外还有和客户端 其它datanode之前的信息交换       c.完成和客户端还有其它节点的大规模通信,这个需要直接          通过socket 协议实现。 5.ResourceManager:     在YARN中,ResourceManager负责集群中所有资源的统一管理和分配,它接收来自各个节点(NodeManager)的资源汇报信息,并把这些信息按照一定的策略分配给各个应用程序(实际上是ApplicationManager) RM与每个节点的NodeManagers (NMs)和每个应用的ApplicationMasters (AMs)一起工作。     a.NodeManagers 遵循来自ResourceManager的指令来管理单一节点上的可用资源。     b.ApplicationMasters负责与ResourceManager协商资源与NodeManagers合作启动容器

上面的一些名词解释

ApplicationMaster     计算应用的资源需求,资源可以是静态或动态计算的,静态的一般是Client申请时就指定了,动态则需要ApplicationMaster根据应用的运行状态来决定  根据数据来申请对应位置的资源(Data Locality)  向ResourceManager申请资源,与NodeManager交互进行程序的运行和监控,监控申请的资源的使用情况,监控作业进度  跟踪任务状态和进度,定时向ResourceManager发送心跳消息,报告资源的使用情况和应用的进度信息 负责本作业内的任务的容错

Container的一些基本概 念和工作流程如下: (1)  Container是YARN中资源的抽象,它封装了某个节点上一定量的资源(CPU和内存两类资源)。它跟Linux Container没有任何关系,仅仅是YARN提出的一个概念(从实现上看,可看做一个可序列化/反序列化的Java类)。 (2)  Container由ApplicationMaster向ResourceManager申请的,由ResouceManager中的资源调度器异步分配给ApplicationMaster;

(3) Container的运行是由ApplicationMaster向资源所在的NodeManager发起的,Container运行时需提供内部执行的任务命令(可以使任何命令,比如java、Python、C++进程启动命令均可)以及该命令执行所需的环境变量和外部资源(比如词典文件、可执行文件、jar包等)。

另外,一个应用程序所需的Container分为两大类,如下: (1) 运行ApplicationMaster的Container:这是由ResourceManager(向内部的资源调度器)申请和启动的,用户提交应用程序时,可指定唯一的ApplicationMaster所需的资源; (2) 运行各类任务的Container:这是由ApplicationMaster向ResourceManager申请的,并由ApplicationMaster与NodeManager通信以启动之。以上两类Container可能在任意节点上,它们的位置通常而言是随机的,即ApplicationMaster可能与它管理的任务运行在一个节点上。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏灯塔大数据

每周学点大数据 | No.69 多机配置

No.69 多机配置 Mr. 王:在关于 Hadoop 内容介绍的最后,我们来谈谈如何把 Hadoop 配置在多台计算机上。 小可 :嗯,到目前为止,所有的程序...

33660
来自专栏java架构师

Hadoop总结篇之二--yarn的概况

在弄清楚yarn是什么之前,先来看一下MRv1。 它的由编程模型+数据处理引擎(map/reduceTask)+运行时环境组成(JobTracker/TaskT...

366110
来自专栏行者悟空

Hadoop之HDFS概念与体系结构

37550
来自专栏我是攻城师

Hive2.1.0集成Tez

38730
来自专栏别先生

一脸懵逼学习基于CentOs的Hadoop集群安装与配置(三台机器跑集群)

1:Hadoop分布式计算平台是由Apache软件基金会开发的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS)和MapReduce(Google...

28450
来自专栏Spark学习技巧

金融反欺诈场景下的Spark实践

推荐阅读: 1,Spark Structured Streaming高级特性 2,Spark高级操作之json复杂和嵌套数据结构的操作一...

388100
来自专栏LuckQI

Java大数据学习~Hadoop初识一了解其架构

9730
来自专栏祝威廉

StreamingPro 再次支持 Structured Streaming

之前已经写过一篇文章,StreamingPro 支持Spark Structured Streaming,不过当时只是玩票性质的,因为对Spark 2.0+ 版...

10330
来自专栏LanceToBigData

Hadoop(四)HDFS集群详解

前言   前面几篇简单介绍了什么是大数据和Hadoop,也说了怎么搭建最简单的伪分布式和全分布式的hadoop集群。接下来这篇我详细的分享一下HDFS。   H...

55590
来自专栏cloudskyme

Hadoop使用(二)

前提和设计目标 硬件错误 硬件错误是常态而不是异常。HDFS可能由成百上千的服务器所构成,每个服务器上存储着文件系统的部分数据。我们面对的现实是构成系统的组件...

377100

扫码关注云+社区

领取腾讯云代金券