专栏首页about云hadoop入门:第六章YARN文档概述

hadoop入门:第六章YARN文档概述

1.YARN 结构 文档简介: Yarn的基本思想是拆分资源管理的功能,作业调度/监控到单独的守护进程

英文网址: http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/YARN.html 2.Hadoop: Capacity 调度 文档简介 本文档介绍了capacityscheduler,hadoop可插拔scheduler 允许多租户安全共享大的集群,他们的应用在分配的能力约束下及时分配资源。 英文网址: http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/CapacityScheduler.html 3.Hadoop: Fair 调度 文档简介 这个文档描述了FairScheduler,hadoop可插拔scheduler允许yarn应用fairly共享资源在大集群。 英文网址: http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/FairScheduler.html ########################### 上面两个文档详细介绍了hadoop调度方式 4.ResourceManger 重启 文档简介 ResourceManager 是中央权威,管理资源和调度应用运行YARN 。因此,潜在单点故障在YARN 集群。本文给出了概述,重启ResourceManager,一个功能提高ResourceManager 保持运行,对于终端用户使ResourceManager宕机时间不可见。 英文网址 http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/ResourceManagerRestart.html 5.ResourceManager 高可用 文档简介 本指南提供了Yarn的ResourceManager高可用性概述,和详细描述了如何配置和使用这个功能。ResourceManager(RM)负责跟踪资源集群,和调度应用(等MapReduce jobs)。Hadoop 2.4之前,YARN 集群有单点故障。这个高可用功能添加冗余在一个Active/Standby ResourceManager 队的形式,移除这个,否则就是单点故障。 结构:

英文网址 http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/ResourceManagerHA.html 6.YARN 节点Labels 文档简介 节点标签是一种具有相似特性的组节点的方式,应用程序可以指定运行的地方。 英文网址: http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/NodeLabel.html 7.Web 应用代理 文档简介 web应用代理是Yarn一部分。默认它运行作为 Resource Manager(RM)一部分,但是可以被配置为运行单机模式 英文网络: http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/WebApplicationProxy.html 8.YARN Timeline Server 文档简介 存储和检索当前应用和历史信息以通用的方式在Yarn处理,通过 Timeline Server 英文网址 http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/TimelineServer.html 9.Hadoop: Writing YARN 应用 文档简介 本文档描述了一个高层次的方法来实现Yarn的新应用。 英文网址 http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/WritingYarnApplications.html 10.YARN 命令 文档简介 YARN 命令被bin/yarn脚本调用。运行yarn 没有任何脚本,打印所有命令描述 英文网址: http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/YarnCommands.html 11.NodeManager 重启 文档简介 本文给出了nodemanager概述(nm)重启,一个功能,启用NodeManager,重启不会丢失激活的运行在节点的containers。在高水平,NM 存储任何需要的状态在本地状态存储,因为它处理容器管理需求。当NM 重启,它首先恢复加载各个子系统状态和然后让这些子系统执行恢复使用加载状态。 英文网址: http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/NodeManagerRestart.html 12.Docker Container Executor 文档简介 Docker 包括易于使用的接口与Linux容器使用易于构建镜像文件为这些容器。总之,Docker 是一个很轻的虚拟机。 Docker Container Executor (DCE) 允许 YARN NodeManager启动Yarn容器到Docker 容器。用户可以指定Docker 镜像,他们想要他们的Yarn容器。这些容器提供定制的软件环境,软件环境中用户代码运行,隔离NodeManager软件环境。这些容器可以包含应用程序所需要的特殊库,和安装在NodeManager的软件,有不同版本的 Perl, Python,和甚至Java 。确实,这些容器可以运行不同的Linux flavor 比运行在NodeManager 的,尽管如此,YARN container 必须定义运行job所需要的所有的环境和libraries ,不会与NodeManager共享。 YARN Docker 提供二者一致性(所有YARN 容器将会有相同的软件环境)和隔离(与物理机安装不会发生冲突) 英文网址 http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/DockerContainerExecutor.html 13.使用YARN的CGroups 文档简介 CGroups 是一种聚集/划分任务组的机制 CGroups 是一个Linux内核的功能,并入内核版本2.6.24。从Yarn的角度,这允许容器限制他们的资源使用。 一个很好的例子就是CPU 的使用。没有CGroups,它变的很难限制容器CPU的使用。当前,CGroups 仅用于限制CPU使用。 英文网址 http://hadoop.apache.org/docs/r2 ... ManagerCgroups.html 14.Yarn安全容器 文档简介 一个安全的集群中的Yarn容器使用操作系统设备为容器提供执行隔离。安全容器执行在job用户凭据下。操作系统强制访问容器的限制。容器必须运行使用提交应用程序。 安全的容器只在有安全的Yarn的背景下工作。 英文网址 http://hadoop.apache.org/docs/r2 ... ecureContainer.html 15.YARN Service 注册 服务注册是一种服务,可以部署在Hadoop集群,允许部署的应用程序注册自己的方式与他们通信。客户端应用程序可以使用绑定信息 连接网络访问端点,他们REST, IPC, Web UI, Zookeeper quorum+path或则其它协议 英文网址 http://hadoop.apache.org/docs/r2 ... registry/index.html

本文分享自微信公众号 - about云(wwwaboutyuncom)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2016-02-21

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • hadoop入门:第十章hadoop工具

    问题导读 1.hadoop有哪些工具? 2.hadoop流的作用是什么? 3.hadoop集群负载如何模拟? 4.hadoop数据提取和分析工具是哪个? ...

    用户1410343
  • 基于Flume的美团日志收集系统(一)架构和设计

    问题导读: 1.Flume-NG与Scribe对比,Flume-NG的优势在什么地方? 2.架构设计考虑需要考虑什么问题? 3.Agent死机该如何解决? 4....

    用户1410343
  • discuz论坛apache日志hadoop大数据分析项目:清洗数据核心功能解说及代码实现

    我们在进行日志分析的时候,那么日志的数据是杂乱无章的,或则说日志的数据并不是我们都想看到的。所以我们需要对里面的数据进行清洗,说的直白一点就是要过滤里面的字符串...

    用户1410343
  • Ajax 与 Gzip 交互

    Remember_Ray
  • 这样的文案不搞笑,而且很 LOW ,“杀程序员祭天”,“杀产品替程序员祭天”……

    ? 没想到互联网,尤其是移动互联网的产品竞争激烈到这种程度,真是没想到这个“更新日志”这个小地方都成了兵家的必争之地,都是成了宣传营销战斗的中心。可是,我有个...

    非著名程序员
  • 快速学习-DataNode

    1)一个数据块在DataNode上以文件形式存储在磁盘上,包括两个文件,一个是数据本身,一个是元数据包括数据块的长度,块数据的校验和,以及时间戳。 2)D...

    cwl_java
  • 谈谈互联网架构

    其实并没有什么神秘的力量和魔力融合在技术里面,而是业务的不断发展推动了技术的发展,这样一步一个脚印,持续几年甚至十几年的发展,才能达到当前技术复杂度和先进性。...

    iMike
  • 大数据技术之_04_Hadoop学习_02_HDFS_DataNode(面试开发重点)+HDFS 2.X新特性

    思考:如果电脑磁盘里面存储的数据是控制高铁信号灯的红灯信号(1)和绿灯信号(0),但是存储该数据的磁盘坏了,一直显示是绿灯,是否很危险?同理DataNode节...

    黑泽君
  • Windows 商店应用中使用 SharePoint REST API

    前面一篇我们介绍了 Office 365 REST API 的官方工具的使用,本篇我们来看一下 SharePoint REST API 本身的描述、结构和使用方...

    Shao Meng
  • Flink on YARN 基础架构与启动流程

    本文转载Flink官方社区文章:一张图轻松掌握 Flink on YARN 基础架构与启动流程

    神秘的寇先森

扫码关注云+社区

领取腾讯云代金券