专栏首页爱编码《Yarn的使用教程》--- 大数据系列

《Yarn的使用教程》--- 大数据系列

一、Yarn简介:

YARN主要是将资源管理和作业监控拆分成了两个独立的服务: 1. ApplicationMaster:每个应用程序特有的,负责单个应用程序的管理。 2. ResourceManager:一个全局的资源管理器,负责整个系统的资源管理和分配。

Yarn原理图

上图解析:ResourceManager和NodeManager设计源自于数据计算框架。ResourceManager主要负责资源调度,而NodeManager是监控每一个台客户机器的cpu,内存,硬盘和网络状况,同时汇报给ResourceManager。

主要概念介绍完了,如果想看更多可移步官网

二、Yarn的安装和使用

前提:Hadoop已经安装完成,可参考安装教程

进入hadoop根目录,然后配置,基本上是MapReduce和yarn之间连接的配置:

vi   etc/hadoop/mapred-site.xml

填入下面的配置:

<configuration>
   <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
   </property></configuration>

接着

vi   etc/hadoop/yarn-site.xml

填入下面的配置:

<configuration>
   <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
   </property></configuration>

启动

$ sbin/start-yarn.sh

验证

http://localhost:8088/

停止

 $ sbin/stop-yarn.sh

提交一个MapReduce作业命令:

hadoop jar /root/app/hadoop-2.6.0-cdh5.7.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar

到此Yarn搭建完成了。

本文分享自微信公众号 - 爱编码(ilovecode),作者:zero

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-08-02

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 经典算法之稀疏矩阵

    在矩阵中,若数值为0的元素数目远远多于非0元素的数目,并且非0元素分布没有规律时,则称该矩阵为稀疏矩阵;与之相反,若非0元素数目占大多数时,则称该矩阵为稠密矩阵...

    用户3467126
  • 分布式Session

    Session 是客户端与服务器通讯会话跟踪技术,服务器与客户端保持整个通讯的会话基本信息。

    用户3467126
  • Java基础题

    不能。在Java中,只要是被定义为final的类,也可以说是被final修饰的类,就是不能被继承的。

    用户3467126
  • DriverDisassociated|Lostexecutor

    昨天在Spark Sql上执行几条涉及数据量几百G的Sql语句时频繁失败,日志中出现大量以下错误:

    codingforfun
  • SD-WAN安全三代之变

    SDNLAB
  • 【STM32F429开发板用户手册】第14章 STM32F429的电源,复位和时钟系统

    最新教程下载:http://www.armbbs.cn/forum.php?mod=viewthread&tid=93255

    armfly
  • 【STM32F407开发板用户手册】第14章 STM32F407的电源,复位和时钟系统

    最新教程下载:http://www.armbbs.cn/forum.php?mod=viewthread&tid=93255

    armfly
  • 写py2、py3兼容的代码

    jeremyxu
  • 这个机器人自曝:想上学成家,毁灭人类

    国外媒体报道,在最近机器人设计师戴维·汉森(David Hanson)的测试中,与人类极为相似的类人机器人索菲亚(Sophia)自曝愿望,称想去上学,成立家庭,...

    机器人网
  • 冒泡排序应用

    机器学习和大数据挖掘

扫码关注云+社区

领取腾讯云代金券