hadoop入门:第六章YARN文档概述

1.YARN 结构 文档简介: Yarn的基本思想是拆分资源管理的功能,作业调度/监控到单独的守护进程

英文网址: http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/YARN.html 2.Hadoop: Capacity 调度 文档简介 本文档介绍了capacityscheduler,hadoop可插拔scheduler 允许多租户安全共享大的集群,他们的应用在分配的能力约束下及时分配资源。 英文网址: http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/CapacityScheduler.html 3.Hadoop: Fair 调度 文档简介 这个文档描述了FairScheduler,hadoop可插拔scheduler允许yarn应用fairly共享资源在大集群。 英文网址: http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/FairScheduler.html ########################### 上面两个文档详细介绍了hadoop调度方式 4.ResourceManger 重启 文档简介 ResourceManager 是中央权威,管理资源和调度应用运行YARN 。因此,潜在单点故障在YARN 集群。本文给出了概述,重启ResourceManager,一个功能提高ResourceManager 保持运行,对于终端用户使ResourceManager宕机时间不可见。 英文网址 http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/ResourceManagerRestart.html 5.ResourceManager 高可用 文档简介 本指南提供了Yarn的ResourceManager高可用性概述,和详细描述了如何配置和使用这个功能。ResourceManager(RM)负责跟踪资源集群,和调度应用(等MapReduce jobs)。Hadoop 2.4之前,YARN 集群有单点故障。这个高可用功能添加冗余在一个Active/Standby ResourceManager 队的形式,移除这个,否则就是单点故障。 结构:

英文网址 http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/ResourceManagerHA.html 6.YARN 节点Labels 文档简介 节点标签是一种具有相似特性的组节点的方式,应用程序可以指定运行的地方。 英文网址: http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/NodeLabel.html 7.Web 应用代理 文档简介 web应用代理是Yarn一部分。默认它运行作为 Resource Manager(RM)一部分,但是可以被配置为运行单机模式 英文网络: http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/WebApplicationProxy.html 8.YARN Timeline Server 文档简介 存储和检索当前应用和历史信息以通用的方式在Yarn处理,通过 Timeline Server 英文网址 http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/TimelineServer.html 9.Hadoop: Writing YARN 应用 文档简介 本文档描述了一个高层次的方法来实现Yarn的新应用。 英文网址 http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/WritingYarnApplications.html 10.YARN 命令 文档简介 YARN 命令被bin/yarn脚本调用。运行yarn 没有任何脚本,打印所有命令描述 英文网址: http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/YarnCommands.html 11.NodeManager 重启 文档简介 本文给出了nodemanager概述(nm)重启,一个功能,启用NodeManager,重启不会丢失激活的运行在节点的containers。在高水平,NM 存储任何需要的状态在本地状态存储,因为它处理容器管理需求。当NM 重启,它首先恢复加载各个子系统状态和然后让这些子系统执行恢复使用加载状态。 英文网址: http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/NodeManagerRestart.html 12.Docker Container Executor 文档简介 Docker 包括易于使用的接口与Linux容器使用易于构建镜像文件为这些容器。总之,Docker 是一个很轻的虚拟机。 Docker Container Executor (DCE) 允许 YARN NodeManager启动Yarn容器到Docker 容器。用户可以指定Docker 镜像,他们想要他们的Yarn容器。这些容器提供定制的软件环境,软件环境中用户代码运行,隔离NodeManager软件环境。这些容器可以包含应用程序所需要的特殊库,和安装在NodeManager的软件,有不同版本的 Perl, Python,和甚至Java 。确实,这些容器可以运行不同的Linux flavor 比运行在NodeManager 的,尽管如此,YARN container 必须定义运行job所需要的所有的环境和libraries ,不会与NodeManager共享。 YARN Docker 提供二者一致性(所有YARN 容器将会有相同的软件环境)和隔离(与物理机安装不会发生冲突) 英文网址 http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/DockerContainerExecutor.html 13.使用YARN的CGroups 文档简介 CGroups 是一种聚集/划分任务组的机制 CGroups 是一个Linux内核的功能,并入内核版本2.6.24。从Yarn的角度,这允许容器限制他们的资源使用。 一个很好的例子就是CPU 的使用。没有CGroups,它变的很难限制容器CPU的使用。当前,CGroups 仅用于限制CPU使用。 英文网址 http://hadoop.apache.org/docs/r2 ... ManagerCgroups.html 14.Yarn安全容器 文档简介 一个安全的集群中的Yarn容器使用操作系统设备为容器提供执行隔离。安全容器执行在job用户凭据下。操作系统强制访问容器的限制。容器必须运行使用提交应用程序。 安全的容器只在有安全的Yarn的背景下工作。 英文网址 http://hadoop.apache.org/docs/r2 ... ecureContainer.html 15.YARN Service 注册 服务注册是一种服务,可以部署在Hadoop集群,允许部署的应用程序注册自己的方式与他们通信。客户端应用程序可以使用绑定信息 连接网络访问端点,他们REST, IPC, Web UI, Zookeeper quorum+path或则其它协议 英文网址 http://hadoop.apache.org/docs/r2 ... registry/index.html

原文发布于微信公众号 - about云(wwwaboutyuncom)

原文发表时间:2016-02-21

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏LhWorld哥陪你聊算法

【Sqoop篇】----Sqoop从搭建到应用案例

今天开始讲解Sqoo的用法搭建和使用。Sqoop其实功能非常简单。主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进...

14510
来自专栏简单聊聊Spark

Spark性能调优篇二之重构RDD架构及RDD持久化

上一篇介绍了一些关于提交Spark任务参数的调优,本片文章来聊聊一个Spark作业中RDD的重构,以及一些复用的RDD持久化的常用策略。

9620
来自专栏个人分享

Hadoop系统架构

步骤1 用户向YARN 中提交应用程序, 其中包括ApplicationMaster 程序、启动ApplicationMaster 的命令、用户程序等。

82430
来自专栏java架构师

Hadoop总结篇之二--yarn的概况

在弄清楚yarn是什么之前,先来看一下MRv1。 它的由编程模型+数据处理引擎(map/reduceTask)+运行时环境组成(JobTracker/TaskT...

366110
来自专栏YG小书屋

Yarn与Mesos

Yarn是Hadoop2的产物。提到这个问题就不得不说下Hadoop1与Hadoop2的差别。详细的内容可参考博客:https://blog.csdn.net/...

14130
来自专栏Hadoop实操

如何修改启用了高可用HDFS的NameService ID

32420
来自专栏我是攻城师

如何管理Spark Streaming消费Kafka的偏移量(一)

79870
来自专栏星汉技术

原 Spark的架构

34250
来自专栏Hadoop实操

如何使用HAProxy实现Impala的负载均衡

前面Fayson介绍过《如何使用Nginx实现Impala负载均衡》,正如之前所说Cloudera官网推荐并支持的负载均衡为HAProxy。所以Fayson就介...

64930
来自专栏程序员笔录

Spark 开发环境搭建

本文是对初始接触 Spark 开发的入门介绍,说明如何搭建一个比较完整的 Spark 开发环境,如何开始应用相关工具。文中如有错误或者不当之处,敬请指正。

1.9K10

扫码关注云+社区

领取腾讯云代金券